[信息与通信]第六章双目立体视觉x.ppt

第6章 双目立体视觉6.1 双目立体视觉原理6.2 双目成象和视差6.3 基于区域的双目立体匹配6.4 基于特征的双目立体匹配6.5 视差图误差检测与校正1立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体 的距离（深度）信息 6.1 双目立体视觉原理26.1 双目立体视觉原理六个模块  六项工作1. 摄象机标定2. 图象获取3. 特征提取立体视觉借助不同观察点对同一景物间的视 差来帮助求取3-D信息（特别是深度信息）所以 需要判定同一景物在不同图象中的对应关系选择合适的图象特征以进行多图象间的匹配 36.1 双目立体视觉原理六个模块  六项工作4. 立体匹配根据对所选特征的计算来建立特征间的对应关 系，从而建立同一个空间点在不同图象中的象点 之间的关系，并由此得到相应的视差图象5. 3-D信息恢复根据得到的视差图象，可以进一步计算深度图 象，并恢复场景中的3-D信息 46.1 双目立体视觉原理六个模块  六项工作6. 后处理 3-D信息常不完整或存在一定的误差(1) 深度插值 只能恢复出图象中特征点处的视差值 (2) 误差校正（见后）(3) 精度改善象素级视差到亚象素级的视差 5获得同一场景的两幅视点不同的图象 6.2.1 双目横向模式 6.2.2 双目横向会聚模式 6.2.3 双目纵向模式6.2 双目成象和视差 66.2.1 双目横向模式 • 摄象机坐标系 统和世界坐标系 统重合• 象平面与世界 坐标系统的XY平 面也是平行• 两个镜头中心 间的连线称为系 统的基线B 71. 视差和深度6.2.1 双目横向模式 81. 视差和深度• 3-D空间点在两个摄象机的公共视场（视角不同，被摄物的形状，摄影环境） • 测距精度x1e = x1 + e，d1e = x1 + e + x2 + B = d + e 6.2.1 双目横向模式 92. 角度扫描成象象素是按镜头的方位角和仰角均匀分布的可借助镜头的方位角来表示物象的空间距离 6.2.1 双目横向模式 10两个单目系统绕各自中心相向旋转 6.2.2 双目横向会聚模式 11两个摄象机是沿光轴线依次排列 • 基本排除由于遮挡造成的3-D空间点仅被一个 摄象机看到的问题 • 公共视场的边界很容易确定 6.2.3 双目纵向模式 12直接用单点灰度搜索会受到图象中许多点会 有相同灰度、图象噪声等因素影响而不实用6.3.1 模板匹配 6.3.2 双目立体匹配 6.3 基于区域的双目立体匹配 136.3.1 模板匹配相关函数对f (x, y)和w(x, y)幅度值的变化比较敏感 相关系数 146.3.2 双目立体匹配1. 极线约束 C‘和C“之间的连线称光心线，光心线 与左右象平面的交 点E’和E”分别称为左右象平面的极点光心线与物点W在同一个平面中，这个平面称为极 平面，极平面与左右象平面的交线L'和L“分别称为 物点W在左右象平面上投影点的极线 156.3.2 双目立体匹配2. 匹配影响因素 (1) 由于景物自身形状或景物互相遮挡的原因， 用左图象确定的某些模板不一定能在右图象中找 到完全匹配的位置。

此时常需根据其他匹配位置 的匹配结果来插值这些无法匹配点的数据(2) 不同模板图象应有不同模式但在平滑区域 得到的模板图象具有相同或相近的模式，使匹配 有不确定性，并导致产生误匹配此时可需要将 一些随机的纹理投影到这些表面上以将平滑区域 转化为纹理区域 166.3.2 双目立体匹配3. 光学特性计算利用灰度信息进一步计算物体表面的光学特性N为表面面元法线方向的单位向量 S为点光源方向的单位向量 V为观察者视线方向的单位向量反射亮度I(x, y)为合成反射率 (x, y)和合成反射量 R[N(x, y)]的乘积 176.3.2 双目立体匹配3. 光学特性计算第一项散射效应，第二项镜面反射效应H为镜面反射角方向的单位向量向量H反映出视线向量V的变化 186.4 基于特征的双目立体匹配基于区域方法的缺点是依赖于图象灰度的统计特性，所以对景物表面结构以及光 照反射等较为敏感 6.4.1 基本方法6.4.2 动态规划匹配196.4.1 基本方法典型方法的主要步骤(1) 用边缘检测寻找物体的轮廓线，并在轮 廓线上确定特征点(2) 利用立体匹配方法匹配各特征点(3) 对匹配点求视差，获取匹配点的深度(4) 利用获得的匹配点进行深度插值，以进 一步得到其它各点的深度20• 特征点提取：平移、旋转、缩放、仿射不变性1.SUSAN角点提取；2.harris角点提取；3.SIFT尺度不变特征提取6.4.1 基本方法211SUSAN边缘检测原理USAN: Univalue Segment Assimilating Nucleus核同值区：相对于模板的核，模板中有一定 的区域与它有相同的灰度221) USAN原理•USAN的面积携带了关于图象中核象素处结 构的主要信息 •当核象素处在图象中的灰度一致区域， USAN的面积会达到最大。

该面积当 核处在直边缘处约为最大值的一半， 而当核处在角点处则为最大值的1/4•使用USAN面积作为特征起到了增强边缘和 角点的效果 232 ) SUSAN边缘检测SUSAN：最小（Smallest） 核同值区检测模板：37个象素, 半径为3.4象素242 ) SUSAN边缘检测 Ø检测对模板中的每个象素进行Ø得到输出的游程和（running total）Ø边缘响应几何阈值G = 3Smax/4，其中Smax是S所能取的最大值 252) SUSAN边缘检测 边缘方向的确定根据非零强度的象素确定边缘的方向Ø点A和B都是标准的边缘点，各落在边缘的一边从USAN重心到模板核的矢量与边缘局部方向垂直 262) SUSAN边缘检测 边缘方向的确定根据非零强度的象素确定边缘的方向Ø点C落在两个边缘的中间USAN是沿边缘方向的细条，找最长的对称轴 272 ) SUSAN边缘检测特点•有噪声时的性能较好 •不需要计算微分 •对面积计算中的各个值求和（积分） •非线性响应特点•易自动化实现•控制参数的选择简单 •参数的任意性较小 28• Harris角点检测算子是Moravec角点检测算 子的改进. • Harris算子用高斯函数代替二值窗口函数, 对离中心点越近的像素赋于越大的权重， 以减少噪声影响。

• Moravec算子只考虑了每隔45度方向， Harris算子用Taylor展开去近似任意方向2Harris角点检测292 Harris角点检测算法的步骤： • 1.）计算图像的方向导数，分别保存为两个 数组Ix以及Iy，这里可以使用任何方法，比 较正统的是使用Gaussian函数，因为在 Harris角点检测的推导过程中默认是采用了 Gaussian函数作为其计算图像偏导数的方 法当然使用简单的Prewitt或者Sobel算 子也没有关系302 Harris角点检测算法的步骤： • 2.）为每一个点计算局部自相关矩阵 • u(x,y) = [Ix(x,y)^2*W Iy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*W Iy(x,y)^2*W]; • 这里*W代表以x,y为中心与高斯模板W做卷 积，而这个模板的大小则需要你自己指定 312 Harris角点检测算法的步骤： • 3.）如果这个u的两个特征值都很小，则说 明这个区域是个平坦区域如果u的某个特 征值一个大一个小，则是线，如果两个都 很大，那么就说明这是个角点Harris提供 了另一个公式来获取这个点是否是角点的 一个评价：corness = det(u) - k*trace(u)^2; 322 Harris角点检测算法的步骤： • 4.）这个corness就代表了角点值，其中k 是你自己取的一个固定的变量，典型的为 [0.04,0.06]之间。

当然在求取了每个点的 corness以后，最好再做一个极大值抑制， 这样的效果比直接设置一个阀值要好333 SIFT尺度不变特征提取： • 2004年，David. Lowe总结了已有基于不 变量技术的特征检测方法，正式提出了一 种基于尺度空间的，对图像平移、旋转、 缩放、甚至仿射变换保持不变性的图像局 部特征， 343.SIFT尺度不变特征提取： • 1）尺度空间极值检测 David.Low等人为了更加高效地在尺度空间检测到稳定的 特征点，在1999年提出利用不同尺度的高斯差分方程同图 像进行卷积，求取尺度空间极值，即 D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)353 SIFT尺度不变特征提取： • 2）精确定位特征点的位置当然这样产生的极值点并不都是稳定的特征 点，因为某些极值点响应较弱，而且DOG算子会 产生较强的边缘响应通过拟和三维二次函数以 精确确定特征点的位置和尺度（达到亚像素精度 ），同时可以去除低对比度的关键点和不稳定的 边缘响应点，以增强匹配稳定性、提高抗噪声能 力363 SIFT尺度不变特征提取： • 3）确定特征点的主方向利用关键点邻域像素的梯度方向分布特性为关键点指 定方向参数，使算子具备旋转不变性。

在以特征点为中心的邻域窗口内采样，并用梯度方向 直方图来统计邻域像素的梯度方向梯度直方图的范围是 0°~360°，其中每10°一个柱，总共36个柱梯度方向直方 图的峰值则代表了该特征点处邻域梯度的主方向，即作为 该特征点的主方向在梯度方向直方图中，当存在另一个 相当于主峰值80%能量的峰值时，则将这个方向认为是该 特征点的辅方向一个特征点可能会被指定具有多个方向 （一个主方向，一个以上辅方向），这可以增强匹配的鲁 棒性373 SIFT尺度不变特征提取： • 4）生成特征描述符首先将坐标轴旋转为特征点的方向，以保证旋转不变性； 接下来以特征点为中心取16×16的窗口（特征点所在的 行和列不取） 38• 特征点匹配：1.相关匹配；2.欧式距离；6.4.1 基本方法396.4.1 基本方法1.相关匹配；第一幅图像特征点左邻域窗与第二幅图像特征点右邻 域窗进行相似度比较，并进行对称性测试，互相进 行相似度计算，只有当两个匹配集中的对应点完全 一致时，才视为有效匹配 1）灰度差的平方和406.4.1 基本方法2）归一化的灰度差的平方和3）灰度互相关41• 2.欧式距离；6.4.1 基本方法426.4.1 基本方法3-D空间坐标中一个特征点W(x, y, –z)通过正交投影后在左右图上分别为：按先平移再旋转的坐标变换对u“计算 436.4.1 基本方法平行于XZ平面的一个平面图 ：44注意：仅由稀疏的匹配点并不能唯一地恢复 物体外形示例：过这4个点的曲面可以有无穷多个 6.4.1 基本方法45顺序性约束：物体可见表面上的特征点与它 们在两幅成象图象上投影的顺序正好反过来有遮挡时，图象上投影的顺序不满足顺序性约束6.4.2 动态规划匹配46建立在两条极线上确定的多个特征点之间的对应 关系将匹配各特征点对的问题描述为一个在由特征点 对应结点的图（graph）上搜索最优路径的问题 6.4.2 动态规划匹配476.5 视差图误差检测与校正 视差图产生误差周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严格性，等等通用快速的视差图误差检测与校正算法•直接对视差图进行处理 •与产生该视差图的具体立体匹配算法独立•计算量仅仅与误匹配象素点的数量成正比 481. 误差检测顺序匹配约束 6.5 视差图误差检测与校正 对点P和Q的Z坐标的限制 491. 误差检测检测匹配交叉（顺序匹配约束未满足）区域 令PR = fR(i, j)和QR = fR(k, j)为fR(x, y)中第j行中任意 两象素，则其在fL(x, y)中的匹配点可分别记为PL = fL(i + d(i, j), j)和QL = fL(k + d(k, j), 。