双目视觉相关概念随笔

近年来,随着无人机技术的不断发展,视觉技术已经成为一个不可或缺的组成部分。作为飞控工程师,怎么也得对视觉技术有个大概了解,知道基本概念。因此本文不包含具体实验性的建议指导,都是提纲性的概念,便于非图像专业的小白进行理解。由于笔者不是图像专业出身,因此本文内容摘抄了以前同事 @量子黑洞 的工作记录。

file

双目视觉技术可以获得视场中的目标、障碍物的距离和形状等信息,是自动避障、路径规划、目标跟踪等应用的支撑技术。

file

双目立体视觉作为一种实用的技术,是由完成这种技术的各个步骤所组成的,一个完整的双目立体视觉系统一般要包括下面几个方面的内容:

  1. 图像的获取。用摄像机获取 3D 物体的 2D 图像,作为后面分析和处理的基础。摄像机拍摄位置和角度、光照条件、摄像机的几何特性等因素都会影响图像获取的质量,因此,不同视点之间的差异、光照条件、摄像机自身的性能这些因素都应考虑在内。为了使直接拍摄得到的图像更加符合后面要进行的立体匹配的要求,一般要对图像进行预处理。

  2. 摄像机的标定。摄像机标定的目的是通过确定摄像机的内外参数来建立一个有效的摄像机成像模型,从而建立空间坐标系中的物体点与成像平面中像素点之间的对应关系。摄像机模型越精确,求出的空间物体的三维信息也越精确,也更加有助于立体匹配问题的解决。

  3. 特征提取。要选择两幅图像中合适的特征点进行匹配,目前来说,可用于匹配的特征多种多样,但是还没有一种能够普遍适用的理论。按照特征的几何形状来划分,主要是点状特征、线状特征和区域特征这三种。特征的尺度大,其所含的图像信息就丰富,这样的特征在图像中的也是较少的,所以匹配实现较快,但是定位的精度却较差,也不便于特征的提取与描述。相比而言,特征尺度小,在图像中数目就较多,由于其含有的信息较少,为了去掉有歧义的匹配和提升运算效率,就需要在匹配时运用较强的约束准则和匹配策略。

  4. 立体匹配。立体匹配要对应空间物体点在不同图像中的映射点并由此计算出相应的视差和距离信息。当把空间中的 3D 物体投影在 2D 的图像平面上时,同一个物体在不同的视点下由于方位不同,在图像平面产生的图像会差别很大。在复杂场景中,立体匹配要想取得好的效果,关键是去掉歧义匹配和误匹配、消除干扰,并降低实现的复杂程度和计算量。

  5. 获取深度信息。摄像机标定过程中存在的误差、图像特征的检测与立体匹配的精度等因素都会对距离测量产生影响。摄像机的基线越长,匹配定位的精度越高。

  6. 修正误差。立体匹配中误差的产生主要是由于几何畸变和噪声干扰的存在,视差图中的误差产生主要是由于存在遮挡效应和不严格的约束原则,根据误差产生的原因和方式,选择合适的手段对误差进行检测并修正是重要的后处理内容。