光流法简述.docx

机器视觉作业论文作者： 孔令上论文题目：光流法简述2014年12月20日目录引言 3光流法的理论背景 3光流法的提出、发展及现状 3光流的原理 4光流场与运动场 4基本光流方程. 6光流的计算方法. 7光流法的应用 9运动目标检测与跟踪 9应用背景. 9现有方法简述. 10光流法的优势和劣势 11基于视觉的导航 11现代导航方法及其不足 11昆虫视觉启发的导航方法 12光流法简述引言基于机器视觉的运动目标方法比较主流的有帧差法、背景差法、光流法等相比其他几 种而言，光流法来源于仿生学思想，从更加本质的方面揭示了基于视觉的运动目标检测的原 理；比其他方法有更加牢固的数学基础：也比其他方法有更高的检测精确性等诸多优势只 要在有限的牺牲精确度的情况I、.解决了光流法的计算复杂性问题，该方法必然能成为运动目 标检测问题的唯一首选方案研究生物行为，将生物科学与工程学相结合是未来科学发展的趋势，也是目前世界上公 认的研究方法从对昆虫的视觉机理实验中，科学家们己经发现了大量的昆虫在导航的时候 使用的真是光流法试想一下，昆虫仅仅具有简单的大脑和及其微弱的计算能力，但却表现 出令人惊叹的复杂导航行为，这个事实给了我信息，我个人为：通过改进算法和硬件，更深 入的学习大自然，必然能解决光流法的实时性差这一难题，将其推向实用。

基于此，将现阶 段我所了解的光流法的原理与应用方面总结整理，遂成此文由于本人从事智能车方面的项 目，设计移动目标检测和导航问题，故主要只写了这两方面的应用光流法的理论背景光流法的提出、发展及现状早在二十世纪五十年代就巳经有人着手于光流法的研究，心理学家Gibson在他的著作 “The Perception of the Visual World ”中提出了 环境光(ambient optic)、环境光阵(ambient optic array)、光流(optic flow)、光流阵(optic flow array)等基本概念物理光学概念是以能量为基础的，但Gibson认为，对人和动物来说能量没有很直接的 意义，比如说可见光外波长的光，具有物理学的意义，但对人的视知觉没有任何贡献因此， 他引入了生态光学理论(ecological optics theory),以强调知觉对动物在自然环境卜.生存和 发展的意义人在环境中行动，光线来自各个方向，外在空间的每一点的光线分布各不相同 这种光线分布称作“环境光"环境光对人具有重要生存意义，它的特殊分布提供了空间视觉 的信息研究环境光对人的视觉的作用的科学就是生态光学。

由于生态光学理论以物理光学 为基础，对于视知觉的解释又极为简明，特别受到计算机视觉研究者的重视在Gibson他 提出一系列的光流概念之后，便有学者提出利用二维平面的光流场来恢复三维空间运动参数 和结构参数的假设随后，一系列关于昆虫视觉机理方面实验结果表明，大多数昆虫都可以通过光流测量自 身运动，进而通过积分获得自身飞行的距离1976年，Poggio和Reichartdt在研究昆虫视觉 时提出了关于光流的粗略计算形式；关于光流的有效计算方法的提出，是在1981年Horn 和Schunck. Lucas和Kanade将二维速度场与灰度相联系，引入了光流约束方程，对光流计 算做了奠基性的工作由于光流在图像处理、目标跟踪等领域的重要性，研究人员又陆续推出了一些新的方法, 这些方法大致分为五类：基于匹配的方法、基于梯度的方法、基于频域的方法、基于相位的 方法和神经动力学方法基于匹配的方法包括基于区域和基于特征两种方法，实质上是在图像序列中的各图像之 间，搜索出对应的图像区域最佳拟合的位移，所得到的位移即为目标运动矢量该类方法在 视频编码中得到了广泛的应用基于特征的方法对于目标的速度和亮度变化具有较好的鲁棒 性。

基于匹配的两种方法存在的主要问题是，得到的光流通常比较稀疏，要实现精确匹配比 较难基于梯度的方法也称为微分法，该类方法是建立在图像亮度为常数的假设基础之上的, 利用序列图像亮度的时空梯度函数来计算二维速度场由于计算简单而且效果比较好，该方 法成为使用最广泛的一种光流估计方法,此类方法的最具代表性的是Horn-Schunck光流法， 它计算出的光流场是在光流基本方程的基础上引入了另外一个约束条件，即全局光流平滑约 束假设后来人们根据这种思想又提出了大量的改进算法基于梯度的光流法在使用中存在 一些问题：第一，为了在计算光流方程时方便，一般会通过一阶泰勒级数逼近来线性化，因 此当有大的运动矢量存在时会产生较大的误差，从而导致估计精度降低：第二，在进行预处 理时，部分帧中噪声的存在、图像采集过程中的频谱混叠现象都将严重影响该类方法的计算 精度第三，在有些非连续区域（比如边缘等），图像亮度在运动方向上的平滑性约束条件会 被破坏，从而会导致计算错误基于频率的方法又称为基于能量的方法，在使用该类方法的过程中，要获得均匀流场的 准确的速度估计，就必须对输入的图像进行时空滤波处理，即对时间和空间的整合，但是这 样会降低光流的时间和空间分辨率。

基于频率的方法往往会涉及大量的计算，另外，要进行 可靠性评价也比较困难基于相位的方法是由Fleet和Jepson提出的，Fleet和Jepson最先提出将相位信息用于 光流计算的思想当我们计算光流的时候，相比亮度信息，图像的相位信息更加可靠，所以 利用相位信息获得的光流场具有更好的鲁棒性基于相位的光流算法的优点是：对图像序列 的适用范围较宽，而且速度估计比较精确，但也存在着一些问题：第一，基于相位的模型有 一定的合理性，但是有较高的时间复杂性；第二，基于相位的方法通过两帧图像就可以计算 出光流，但如果要提高估计精度，就需要花费一定的时间；第三，基于相位的光流计算法对 图像序列的时间混叠是比较敏感的神经动力学方法是利用神经网络建立的视觉运动感知的神经动力学模型,它是对生物视 觉系统功能与结构比较直接的模拟光流的原理我们观察三维世界中目标的运动时，运动目标的轮廓会在我们的视网膜上形成一系列连 续变化的图像，这些连续变化的信息不断的“流过”人眼视网膜（即图像平面），就像是一种 光“流”过一样，称为光流（optical flow）在视频跟踪领域，光流是指图像中灰度模式的表 面运动，是物体的三维速度矢量在成像平面上的投影，它表示了物体在图像中位置的瞬时变 化。

光流场与运动场物体在空间运动时会产生三维运动场，运动前后空间对应点在图像上的投影就会形成一个二维运动场光流场就是运动场在二维图像上的投影，光流场携带了关于物体结构和运动 的信息研究光流场的目的主要是希望从序列图像中近似计算出不能直接得到的运动场图 1.2.1在物体的运动过程中，在某一特定时刻，三维场景中的某一点根据投影方程对应成二维 图像上一点，根据透视投影原理，三维场景中一点与图像上的对应点的连线经过光学中心, 如图1.2.1所示图中f为摄像头镜头焦距，z为镜头中心到目标点的距离假设po相对于摄像机的运动 速度为％,那么与之对应的点R也会产生一个运动速度％,则％和R•分别如下式所示：dr.匕=—dtro和万之间的关系为:1 1r=上述公式反映了三维空间物体运动和图像平面投影之间的对应关系，同样的，物体在空 间运动的三维速度场也会在二维图像平面形成投影,这个投影就是图像的运动场简单来说, 图像运动场就是对图像中所有像素点各赋予一个速度矢量另外，物体的某个点的运动除了 会导致图像中对应点的运动外，同时也会带来对应点的亮度模式的运动光流就是图像亮度 模式的表观运动，是空间运动物体被观测面上像素点的运动产生的瞬时速度场。

a)球体不动而光源运动(b)光源不动而球体绕轴心旋转图122光流场与运动场不一致光流场是对运动场的一个近似，即光流场并不一定能反映物体的实际运动情况在理想 情况下光流场与运动场是相对应的，但也存在不对应的时候，例如一个质地均匀的球体在某 一光源的照射下，若球体不动而光源运动，如图1.2.2(a)所示，这样球体与光源会有相对运 动，其亮度模式会发生变化，光流并不等于零，但因为球体并没动，所以运动场为零同样 地，运动场的改变也未必能引起光流场的变化，上面那个例子中，若光源不动而球体困绕着 自身轴心旋转，如图1.2.2(b)所示，其运动场发生了改变，而其亮度模式并没有发生变化， 因而其光流场不变由此可■得光流场并不完全等价于运动场通常我们可以认为光流场与运 动场等同，通过图像光流场可■以研究图像序列中物体的运动信息基本光流方程光流可看作为带有灰度的像素点在图像平面上运动而产生的瞬时速度场，Horn和 Schunck假设图像区域在时间和空间上都是连续旦可导的，这是光流计算中的一个重要约束 条件对于一个图像序列，我们假设图像中一个像素点(x ,y)在t时刻的亮度值为I ( x , y ,t) 如果u (x ,y)和v (x ,y)表示(x ,y)处光流在x和y方向的运动分量，在足够小的一个时间dt, 点(x ,y)移动到点(x + dx ,y +dy),其中dx=udt, dy=vdt,根据亮度恒定的假设，即沿某运动轨 迹曲线的各帧中相应的像素点具有相同的灰度值，即图像上对应点亮度不变，由此我们可以 得到：/ (x + dx. y + dy. t + dt) =将上式按一阶Taylor公式展开可得:I （x, *盘）十 5— dx十 §— dy 十弓—dt 十 j = Z （工将两边的l(x,V/t)相抵消，并整理可得:Iu + Iyv + It=O或▽" + 匕=0因为光流约束方程只有一个方程却有两个未知数，因此，需要增加其他约束才能解决这个问 题。

光流的计算方法通过光流方程我们可■以看出，光流方程只有一个，但有两个未知数，因此仅使用光流约 束方程是不能确定图像光流，需要引入其他约束条件，引入不同的约束条件，就会产生不同 的光流计算方法目前较为常用的光流计算方法主要有:基于梯度的方法，基于匹配的方法， 基于频域的方法和基于相位的方法其中最常用是基于梯度的光流算法，该方法也被称为微 分法主要根据图像灰度的梯度函数得到图像中每个像素点的运动矢量，基于梯度的光流算 法已得到广泛应用本节主要介绍基于梯度的光流法中两种经典的光流算法：Horn-Schunck 算法和Lucas-Kanada算法1) Horn-Schunck 算法Horn-Schunck光流法是在基于强度不变假设的条件下，引入了全局光流平滑约 束假设，假设在整个图像上光流的变化是光滑的，即物体运动矢量是平滑的或只是 缓慢变化的，尤其对刚体来说，其各相邻像素点间的速度是相同的Horn和Schunck 利用光流约束方程和全局光流平滑假设一起来计算V,该方法得到的是稠密光流场, 由于相邻像素点运动速度相同，因而对于局部区域来说，其速度的空间变化率为零, 进而得出光流矢量的梯度接近于0, Horn引入的约束条件的基本思想是光流需要尽可能的平滑，使平滑约束项％极小化。

根据光流基本等式，光流误差Ec进行极小化，得到:Ec = jj (/// + /yv + L)~ dxdy于是对光流场的求解町转化为对如卜问题的解："(//+/『十打+人\dx J'也、< 3)')〔戒\2+、2dxdv = min✓(2) Lucas-Kanada 算法Lucas-Kanada即L-K光流法最初于1981年提出，该算法假设在一个小的空间邻 域内运动矢量保持恒定，使用加权最小二乘法估计光流由于该算法应用于输入图 像的一组点上时比较方便，因此被广泛应用于稀疏光。