计算机视觉：常见问题与避坑清单

引言

计算机视觉（Computer Vision, CV）作为人工智能领域最活跃的分支之一，近年来取得了令人瞩目的进展。从人脸识别到自动驾驶，从医疗影像分析到工业质检，计算机视觉技术已经渗透到我们生活的方方面面。然而，尽管深度学习框架（如PyTorch、TensorFlow）和预训练模型（如ResNet、YOLO、Vision Transformer）使得入门门槛大幅降低，许多开发者和研究者在实际项目中仍然会遇到大量“坑”。这些坑可能源于数据、模型、评估、部署等各个环节，稍有不慎便会导致模型性能不佳、训练失败甚至项目延期。

本文将从实战角度出发，系统梳理计算机视觉项目中的常见问题，并提供详细的避坑指南。无论你是刚入门的新手，还是有一定经验的从业者，相信都能从中获得启示。

一、数据层面的常见问题与避坑

数据是计算机视觉的基石。没有高质量的数据，再先进的模型也难有作为。然而，数据恰恰是许多项目中最容易被忽视的环节。

1.1 数据分布不均衡

问题描述：在分类任务中，某些类别的样本数量远多于其他类别；在目标检测任务中，小目标或稀有类别的样本极少。这会导致模型偏向于多数类，忽略少数类。

避坑建议：

• 数据重采样：对少数类进行过采样（如SMOTE），或对多数类进行欠采样。
• 类别权重调整：在损失函数中为不同类别设置权重，惩罚对少数类的错误分类。
• 数据增强：对少数类样本进行针对性增强，如旋转、裁剪、颜色抖动等。

1.2 标注质量低下

问题描述：标注框不准确、标签错误、漏标等问题在人工标注数据中十分常见。低质量标注会导致模型学习到错误模式。

避坑建议：

• 建立标注规范：明确标注规则，例如边界框是否包含遮挡部分、关键点定义等。
• 多重审核机制：标注完成后进行交叉验证，随机抽检标注质量。
• 主动学习：用模型预测不确定的样本，由人工重点审核这些样本的标注。

1.3 数据泄露

问题描述：训练集和测试集之间存在信息重叠，例如同一场景的不同帧被错误地分到不同集合中，导致评估结果虚高。

避坑建议：

• 按时间或场景划分：对于视频数据，确保同一视频的所有帧属于同一集合。
• 数据去重：使用哈希或图像相似度检测方法，去除重复或高度相似的样本。
• 严格分离：在预处理阶段就明确划分训练、验证、测试集，避免后期误操作。

二、模型选择与训练的常见问题

2.1 盲目追求复杂模型

问题描述：很多初学者一上来就选择Vision Transformer、EfficientNet等大型模型，结果发现训练时间过长、显存不足，且在小数据集上容易过拟合。

避坑建议：

• 从简单模型开始：先尝试ResNet-18或MobileNet等轻量模型，建立基线性能。
• 考虑计算资源：根据GPU显存大小选择模型，例如在8GB显存下，Batch Size和模型深度都需要谨慎选择。
• 迁移学习：使用在ImageNet上预训练的权重进行微调，可以显著减少训练时间和数据需求。

2.2 学习率设置不当

问题描述：学习率过大导致训练震荡不收敛，学习率过小导致收敛缓慢，陷入局部最优。

避坑建议：

• 使用学习率调度器：如Cosine Annealing、StepLR、ReduceLROnPlateau等。
• 学习率预热：在训练初期使用较小的学习率，逐步增加到目标值，有助于稳定训练。
• 经验法则：Adam优化器的初始学习率通常设为1e-4到3e-4，SGD设为0.01到0.1。

2.3 过拟合与欠拟合

问题描述：训练集准确率很高但验证集准确率很低（过拟合），或者两者都很低（欠拟合）。

避坑建议：

• 过拟合解决方案：

  • 增加数据量和数据增强
  • 使用Dropout、权重衰减（Weight Decay）
  • 减少模型复杂度

• 欠拟合解决方案：

  • 增加模型深度或宽度
  • 减少正则化强度
  • 检查学习率是否合适

三、评估与验证的常见陷阱

3.1 单一指标误导

问题描述：仅使用准确率（Accuracy）评估模型，在类别不均衡的情况下，准确率可能很高但模型实际表现很差。

避坑建议：

• 多指标综合评估：结合Precision、Recall、F1-Score、AUC-ROC等指标。
• 混淆矩阵：可视化各类别的预测情况，发现模型弱点。
• 考虑业务场景：在医疗诊断中，Recall比Precision更重要；在推荐系统中，Precision可能更关键。

3.2 测试集与真实场景不符

问题描述：测试集来自与训练集相同的数据分布，但实际部署时遇到光照变化、相机角度不同、噪声等新情况。

避坑建议：

• 构建多样化测试集：包含不同光照、角度、背景的样本。
• 域适应（Domain Adaptation）：如果目标域与源域差异较大，考虑使用域适应技术。
• 在线评估：在部署环境中收集真实数据，持续监控模型性能。

四、部署与工程化的常见问题

4.1 模型过大，推理速度慢

问题描述：模型在GPU上运行良好，但部署到边缘设备（如手机、嵌入式设备）时，推理速度无法满足实时要求。

避坑建议：

• 模型量化：将FP32权重转为INT8，推理速度可提升2-4倍，精度损失通常小于1%。
• 模型剪枝：移除不重要的连接或通道，减少计算量。
• 知识蒸馏：用大模型训练小模型，保留大部分性能。
• 选择轻量架构：如MobileNet、ShuffleNet、EfficientNet-Lite。

4.2 环境依赖不一致

问题描述：开发环境和生产环境的依赖版本不同，导致模型无法加载或推理结果不一致。

避坑建议：

• 使用Docker容器：将环境打包，确保一致性。
• 锁定依赖版本：使用requirements.txt或conda环境文件，明确记录所有依赖及其版本。
• ONNX导出：将模型导出为ONNX格式，可以在不同框架间转换，减少依赖问题。

4.3 数据预处理差异

问题描述：训练时的数据预处理（如归一化、尺寸调整）与推理时不一致，导致模型输出异常。

避坑建议：

• 封装预处理流水线：将预处理步骤与模型打包在一起，例如使用TorchScript或TensorFlow SavedModel。
• 标准化预处理代码：确保训练和推理使用相同的预处理函数。
• 测试端到端流程：在部署前，用真实输入数据测试整个pipeline。

五、经典场景中的具体避坑

5.1 目标检测

常见问题：

• 小目标检测困难：小目标在特征图中信息有限。
• NMS阈值设置不当：导致漏检或重复检测。

避坑建议：

• 使用多尺度特征金字塔（FPN）增强小目标检测。
• 调整NMS的IoU阈值，通常设为0.5-0.7之间。
• 考虑使用Soft-NMS或DIoU-NMS等改进版本。

5.2 图像分割

常见问题：

• 边界模糊：分割结果在物体边界处不清晰。
• 类别不平衡：背景像素远多于前景像素。

避坑建议：

• 使用Dice Loss或Focal Loss替代交叉熵损失。
• 在解码器中使用注意力机制，增强边界信息。
• 后处理使用条件随机场（CRF）优化边界。

5.3 人脸识别

常见问题：

• 光照和姿态变化：同一人在不同条件下差异巨大。
• 活体检测失败：被照片或视频欺骗。

避坑建议：

• 使用ArcFace、CosFace等角度间隔损失函数。
• 训练时加入大量数据增强，模拟光照和姿态变化。
• 结合多模态信息（如红外、深度）进行活体检测。

六、总结

计算机视觉项目从数据准备到模型部署，每一步都可能隐藏着陷阱。本文从数据、模型训练、评估、部署四个维度，详细梳理了常见问题及其解决方案。核心要点可以归纳为：

1. 数据为王：花时间清洗、增强和验证数据，比调整模型架构更有效。
2. 从简单开始：先建立基线，再逐步优化，避免一开始就追求复杂模型。
3. 评估要全面：使用多指标评估，并确保测试集能够反映真实场景。
4. 工程化思维：从第一天就考虑部署问题，包括模型大小、推理速度和环境一致性。
5. 持续学习：计算机视觉领域发展迅速，保持对新技术（如Vision Transformer、Segment Anything Model）的关注，但不要盲目追新。

最后，请记住：没有银弹。每个项目都有其独特性，最好的方法是理解问题本质，结合实践经验，灵活运用上述避坑指南。希望本文能帮助你在计算机视觉的道路上少走弯路，更快地实现项目目标。