立体视觉科普.docx

立体视觉开放分类：医学名词 基本物理概念 测绘学 物理学 生理学名词• 图片. 讨论• 知识魔块立体视觉当闭上一只眼睛拿东西时，物件的距离和空间感会变得不一样又或是当 你 轮流遮盖一只眼睛看某一件近距离的东西时，有没有留意到左右眼睛所看出 来的物件位置是不同的这种情况是因为人体的两只眼睛位置不同，令每只眼睛看 出来的影 像有所差异当左右眼睛所看到的影像传到脑部时，脑部会将两个影 像合而为一，形成对物件的立体及空间感，即是「立体视觉」编辑摘要 立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息立体 视觉的研究具有重要的应用价值，其应用包括移动机器人的自主导航系统，航空及遥感测量, 工业自动化系统等1. 引言立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维 几何信息立体视觉的研究具有重要的应用价值，其应用包括移动机器人的自主 导航系统，航空及遥感测量，工业自动化系统等一般而言，立体视觉的研究有如下三类方法:(1) 直接利用测距器(如激光测距仪)获得程距(range data)信息，建立三维 描述的方法;(2) 仅利用一幅图象所提供的信息推断三维形状的方法;(3) 利用不同视点上的，也许是不同时间拍摄的，两幅或更多幅图象提供的信息 重构三维结构的方法。

第一类方法，也就是程距法 (range data method) ，根据已知的深度图，用 数值逼近的方法重建表面信息，根据模型建立场景中的物体描述，实现图象理解 功能这是一种主动方式的立体视觉方法，其深度图是由测距器(range finders) 获得的，如结构光(struetured light)、激光测距器(laser range finders)等 其他主动传感技术(active sensing teehniques)这类方法适用于严格控制下 的环境(tightly con trolled domains)，如工业自动化的应用方面第二类方法，依据光学成象的透视原理及统计假设，根据场景中灰度变化导 出物体轮廓及表面，由影到形(shape from shading),从而推断场景中的物体 线条图的理解就是这样的一个典型问题，曾经引起了普遍的重视而成为计算机视 觉研究领域的一个焦点，由此产生了各种各样的线条标注法这种方法的结果是 定性的，不能确定位置等定量信息，该方法由于受到单一图象所能提供信息的局 限性，存在难以克服的困难第三类方法，利用多幅图象来恢复三维信息的方法，它是被动方式的根据 图象获取方式的区别又可以划分成普通立体视觉和通常所称的光流(op tical flow)两大类。

普通立体视觉研究的是由两摄像机同时拍摄下的两幅图象，而光 流法中研究的是单个摄像机沿任一轨道运动时顺序拍下的两幅或更多幅图象前 者可以看作后者的一个特例，它们具有相同的几何构形，研究方法具有共同点 双目立体视觉是它的一个特例立体视觉的研究由如下几部分组成:(1) 图象获取 (image acquisition),用作立体视觉研究的图象的获取方法是多种多样的，在时间、视点、方向上 有很大的变动范围，直接受所应用领域的影响立体视觉的研究主要集中在三个 应用领域 中，即自动测绘中的航空图片的解释，自主车的导引及避障，人类立 体视觉的功能模拟不同的应用领域涉及不同类的景物，就场景特征的区别来分， 可以划分成两 大类，一类是含有文明特征(cultural features)的景物，如建筑、 道路等；另一类是含有自然特征的景物和表面(natural objects and surfaces), 如山、水、平原及树木等不同类的景物的图象处理方法大不相同，各有其特殊 性总之，与图象获取相关的主要因素可归纳如下:(a) 场景领域 (scene domain)，(b) 计时 (timing)，(c) 时间(照明和阴影)(time of day (lighting and presence ofshadows))，(d) 成像形态(包括特殊的遮盖) (photometry (including special coverage)),(e) 分辨率 (resolution),(f) 视野(FIELD OF VIEW),(g) 摄像机的相对位置 (relative camera positioning).场景的复杂程度受如下因素的影响:(a) 遮掩 (occlusion),(b) 人工物体(直的边界,平的表面) (man-made objects (straight edge, flat surfaces)),(c) 均匀的纹理区域(smoothly textured areas),(d) 含有重复结构的区域 (areas containing repetitive structure)。

2) 摄像机模型 (camera modeling),摄像机模型就是对立体摄像机组的重要的几何与物理特征的表示形式，它作 为一个计算模型，根据对应点的视差信息，用于计算对应点所代表的空间点的位 置摄像 机模型除了提供图象上对应点空间与实际场景空间之间的映射关系外， 还可以用于约束寻找对应点时的搜索空间，从而降低匹配算法的复杂性,减小误 匹配率3) 特征抽取 (feature acquisition),几乎是同一灰度的没有特征的区域是难以找到可靠匹配的，因而，绝大部分 计算机视觉中的工作都包括某种形式的特征抽取过程，而且特征抽取的具体形式 与匹配策略紧密相关在立体视觉的研究中，特征抽取过程就是提取匹配基元的 过程4) 图象匹配 (image matching),图象匹配是立体视觉系统的核心，是建立图象间的对应从而计算视差的过程 是极为重要的5) 深度计算 (distance(depth) determination),立体视觉的关键在于图象匹配，一旦精确的对应点建立起来，距离的计算相 对而言只是一个简单的三角计算而已然而，深度计算过程也遇到了显著的困难， 尤其是 当对应点具有某种程度的非精确性或不可靠性时。

粗略地说，距离计算 的误差与匹配的偏差成正比，而与摄像机组的基线长成反比加大基线长可以减 少误差，但是 这又增大了视差范围和待匹配特征间的差别，从而使匹配问题复 杂化了为了解决这一问题出现了各种匹配策略，如由粗到精策略，松驰法等在很多情况下，匹配精度通常是一个象素但是，实际上区域相关法和特征 匹配法都可以获得更好的精度区域相关法要达到半个象素的精度需要对相关面 进行内插尽管有些特征抽取方法可以得到比一个象素精度更好的特征，但这直 接依赖于所使用的算子类型，不存在普遍可用的方法另一种提高精度的方法是采用一个象素精度的算法，但是利用多幅图象的匹 配，通过多组匹配的统计平均结果获得较高精度的估计每组匹配结果对于最后 深度估计的贡献可以根据该匹配结果的可靠性或精度加权处理总之，提高深度计算精度的途径有三条，各自涉及了一些附加的计算量:(a) 半象素精度估计 (subpixel estimation),(b) 加长基线长 (increased stereo baseline),(c) 几幅图的统计平均 (statistical averaging over several views)6) 内插 (interpolation).在立体视觉的应用领域中，一般都需要一个稠密的深度图。

基于特征匹配的 算法得到的仅是一个稀疏而且分布并不均匀的深度图在这种意义下，基于区域 相关匹配 的算法更适合于获得稠密的深度图，但是该方法在那些几乎没有信息 (灰度均匀)的区域上的匹配往往不可靠因此，两类方法都离不开某种意义的 内插过程最为 直接的将稀疏深度图内插成稠密的深度图的方法是将稀疏深度 图看作为连续深度图的一个采样，用一般的内插方法(如样条逼近)来近似该连 续深度图当稀疏深度 图足以反映深度的重要变化时，该方法可能是合适的 如起伏地貌的航空立体照片的处理中用这种方式的内插也许是比较合适的但是 这种方法在许多应用领域中， 尤其是在有遮掩边界的图象的领域中，就不适用 了Grimson 指出可匹配特征的遗漏程度反映了待内插表面变化程度的相应限 度，在这种基础上，他提出了一个内插过程[2]换一角度来看，根据单幅图象 的“由影到形”的 技术，用已经匹配上的特征来建立轮廓条件和光滑的交接表 面可以确保内插的有效性这些方法结合起来，可以使内插过程达到合乎要求的 目标内插的另一种途径 是在已有的几何模型与稀疏深度图之间建立映射关系， 这是模型匹配过程一般而言，要进行模型匹配，预先应将稀疏深度图进行聚类， 形成若干子集，各自相应于 一种特殊结构。

然后找每一类的最佳对应模型，该 模型为这种特殊结构(物体)提供参数和内插函数如 Gennery 用这种方法来发 现立体对图片中的椭园结构，Moravec用于为自主车探测地面2. 双目立体视觉(binocular Stereo Vision)2.1 双目立体视觉模型双目立体视觉理论建立在对人类视觉系统研究的基础上，通过双目立体图象 的处理，获取场景的三维信息，其结果表现为深度图，再经过进一步处理就可 得到三维空间中的景物，实现二维图象到三维空间的重构 Marr-Poggio- Grimson [1] 最早提出并实现了一种基于人类视觉系统的计算视觉模型及算法 双目立体视觉系统中，获取深度信息的方法比其它方式(如由影到形方法)较为 直接，它是被动方 式的，因而较主动方式(如程距法)适用面宽，这是它的突 出特点双目立体视觉系统中，深度信息的获得是分如下两步进行的:(1) 在双目立体图象间建立点点对应,(2) 根据对应点的视差计算出深度第一部分，也就是对应点问题，是双目立体视觉的关键; 第二部分是摄像机 模型问题双目立体视觉模型中，双摄像机彼此参数一致，光轴平行且垂直于基 线，构成一共极性 (epipolar) 结构，这样做是为了缩小对应的搜索空间，只有 水平方向的视差，简化了对应过程，如下图所示。

如上图所示，设空间一点P(X,Y,Z)在两个平行放置的完全相同的摄象机中像点 分别是(x,y).(x,y),则在知道基线长B和焦距f的情况下，可以计算出深度1 1 2 2一兀］ Aa这是双目立体视觉的基本原理，即根据视差来恢复立体信息2.2 匹配基元匹配基元是指匹配算法的最小匹配对象，它是由特征抽取算法产生的在建 立立体视觉系统时，必须根据环境的特点和应用的领域选择适当的匹配基元匹 配基元可以是：(1) 过零点 (zero-crossings),(2) 边界与线片段 (edge and line fragments),(3) 线性特征 (linear features),(4) 边缘轮廓 (object boundaries),(5) 兴趣算子抽取的特征点(如角点等)基元作为匹配算法处理的基本单位，是局部特征，应包含以下一些信息:(1) 维量(点、线、边界等) (dimensionality),(2) 尺度(空间频度，长短、大小、方向等)(size (spatial frequency)),(3) 亮度(对比度) (contrast),(4) 语义量 (semantic content),(5) 稠密度 (density of occurrence),(6) 简单可量度的分布特征 (easily measurable attributes),(7) 唯一性／突出性 (uniqueness/distinguishability)2.3 匹配算法匹配算法就是在两幅。