改进的光流法用于车辆识别与跟踪.pdf

第 10卷? 第 23期?2010年 8月 1671?1815(2010) 23?5814?04? 科 ? 学 ? 技 ? 术 ? 与 ? 工? 程 Science Technology and Engineering ?Vol ?10? No ?23? Aug?2010 ? ?2010?Sci ?Tech?Engng ? 改进的光流法用于车辆识别与跟踪 胡觉晖? 李一民? 潘晓露 (昆明理工大学 信息与自动化学院, 昆明 650051) 摘? 要? 利用帧间差分获取运动区域, 采用梯度阈值获取二值图像, 再提取运动区域目标特征点的光流, 对光流矢量采取分 段标注, 设置感兴趣区域利用光流特性实现目标的识别, 定位与跟踪, 对于运动目标的跟踪具有实时性和鲁棒性, 能够用于 车流量统计, 对车辆辅助行驶研究起到一定的铺垫作用, 实验结果证明该算法的有效性和实用性 关键词? 差分? ? 光流矢量? ? 目标跟踪? ? 辅助驾驶 中图法分类号? U491?112; ? ? ? ? 文献标志码?A 2010年 5月 10日收到 第一作者简介: 胡觉晖 ( 1985?), 女, 湖北人, 研究方向: 计算机视 觉。

?? 图像序列中检测运动目标, 主要有图像差分法 (帧间差分和背景差分 )、 光流场的方法、 统计模型 的方法、 运动能量的方法、 小波变换的方法、 神经网 络的方法 [ 1]等运动可以分为四种模式: 摄像机和 目标都静止, 摄像机静止但目标运动, 摄像机运动 且目标也运动, 摄像机运动但目标静止其中, 摄 像机静止物体运动是一类非常重要的场景分析, 包 括运动目标检测、 目标运动特性估计; 主要用于预 警、 监视、 统计、 目标跟踪与估计本文主要研究摄 像机静止目标运动的情况通过基于特征点改进 的光流算法实现运动目标的检测估计与跟踪 1? 光流算法原理 光流是指图像中模式运动的速度, 它是一种二 维瞬时速度场, 其二维速度矢量是可见的三维速度 矢量在成像平面上的投影给图像中的每一个像 素点赋予一个速度矢量, 这就形成了一个图像运动 场在运动的一个特定时刻, 图像上的点与三维物 体上的点一一对应, 这种对应关系可由投影关系得 到根据各个像素点的速度矢量特征, 可以对图像 进行动态分析如果图像中没有运动目标, 则光流 矢量在整个图像区域是连续变化的, 当物体和图像 背景存在相对运动时, 运动物体所形成的速度矢量 其大小和方向必然和邻域背景速度矢量不同, 从而 检测出运动物体的位置和形状, 对于背景与目标均 运动的情形, 可以利用光流很好地区分前进的目标 和后退的背景, 得到它们各自的三维运动信息。

光 流计算基于物体移动的光学特性的两个假设 [ 2]: 运 动物体的灰度在很短的间隔时间内保持不变; 给定 邻域内的速度向量场变化是缓慢的对在同一个 运动目标上, 可以认为它有刚体特性, 同一物体每 个像素任意时刻其运动速度的大小和方向是一致 的, 根据这个特性可以检测出目标的形状光流最 初由 Horn和 Schunck提出 [ 5], 假定时刻 t处于图像 坐标 ( x, y)位置的点由于物体的运动在 t+ dt时刻 出现在图像坐标的 ( x+ dx, y+ dy ), 在 t时刻该像素 的灰度值为 I (x, y, t), 在 t+ dt 时刻的灰度值为 I(x+ dx, y+ dy, t+ dt), dt很小, 根据假设认为此点 在移动过程中像素灰度值不变即 I(x + dx, y+ dy, t+ dt) = I(x, y, t)左边用泰勒公式展开可得: I x dx dt+ I y dy dt+ I t dt dt = I xu+ I y v+ I t dt dt其中 u= dx dt , v= dy dt是 ( x, y)出该像素点在 t时刻沿横纵坐标的移动速度, 所有像素的速度矢量 ( u, v)构成了运动物体的光流 场, 令 Ix= I x, Iy = I y, It = I t得光流方程 ( Ix, Iy ) ( u, v) + It= 0 , 光流场 U= ( u, v) T 有两个变量, 约束方 程只有一个, 只能求出光流沿梯度方向的值, 加入 不同的附加约束条件就构成了不同的光流算法。

Lucas? Kanade非迭代光流算法计算两帧在时间 t到 dt之间每个像素点位置的移动, 光流估计误差为 (x, y )! RW 2 (x ) (Ixu + Iyv+ It) 2, W2 (x) 为 窗口权重函 数, 突出窗口中心点的坐标, 可有高斯函数得到, 由 最小二乘解得 U = ( A TW2A )- 1ATW2B, 其中 A = [ ! I(X1), ??? , ! I (Xn) ] T, W = diag [W (X 1), ??, W (Xn) ], B= - [ It(X1), ??, It(Xn) ] T [ 3] 其中光流的可靠值由 A TW2A 矩阵的特征值来 估计, 若特征值都大于给定阈值, 这计算的光流是 可靠的 2? 基于帧间差分与特征点的光流 本文获取的图像序列是背景静止目标运动的 图像, 首先利用连续帧间差方法发现运动目标和定 位区域, 由帧间差分阈值法获取差值图像, 然后计 算差值图像中特征点处的光流针对差值图像中 不为 0特征点出光流场分布比计算整个运动物体的 光流畅要可靠得多, 它们对应于梯度较大的点, 使 得计算出的光流长分布更为可靠和精确, 同时减少 计算量 (计算的是局部特征点光流 )。

而且对已经 检测到的目标存在的区域再运用光流法进行运动 估计, 得到目标的运动信息, 可以缩小运动目标检 测时的感兴趣检测区域, 减少运动目标的检测时 间文中选取的特征点是图像角点, 角点 [ 4] 是灰度 变化突出边缘曲率较大的点, 能反映物体的形状信 息, 角点信息是目标特征的不变性表述, 是特征光 流跟踪的基础本文对变化程度和运动区域变化 比较接近的地方采用连通和聚类的方法, 能够较好 地提取运动区域, 计算出特征点光流后利用聚类来 实现目标与背景的分离, 通过目标特征点在相邻两 帧或多帧间的匹配来实现目标的跟踪梯度阈值 的选取: 在复杂场景运动目标驾车中, 由于场景和 运动目标的灰度梯度可能相差不大, 使得运动目标 轮廓处于模糊状态, 计算的轮廓处光流不准确, 再 次引入梯度的约束条件, 设定灰度梯度阈值, 在灰 度梯度大于阈值的像素点计算光流 本文算法流程如图 1 图 1? 本文算法流程 其中帧间差分原理如图 2 图 2? 帧间差分流程 原始序列某帧图像如图 3 , 由帧间差分得到的 运动目标二值图像如图 4 图 3? 原始图像 图 4? 帧间差分二值图像 581523期胡觉晖, 等: 改进的光流法用于车辆识别与跟踪? 在光流计算部分, 寻找前一帧的特征点在后一 帧中的匹配点位置坐标。

为了得到光流矢量图, 采 用匹配特征点间划线的方法, 为便于直观检测光流 及克服某些特征点运动位移比较小的缺点, 用两段 颜色不一的线段来代替箭头, 其中颜色交界处点的 坐标取两匹配点的中点 图 5为初始计算的光流, 由图可知, 有些光流 矢量箭头比较短, 不能很好的表示特征点位移的 大小, 用上述改动后的方法能够很好地标注出相 对移动比较小的光流, 如图 6所示对于由于外 部环境的干扰如阴影、 风动、 树叶动等 [ 3] 造成的背 景也有光流矢量的干扰, 通过光流矢量的大小和 方向来判断, 根据经验设定阈值对于光流矢量小 于一定长度或不在某一方向的不标注, 可以得到 比较好的光流矢量 图 5? 初始计算光流 图 6? 改动后光流 3? 实验结果 图 7为在设定的感兴趣区域内目标车辆的跟踪 与标号 (可用于车流量检测 ), 图 8为利用特征点匹 配坐标的移动算出运动车辆的相对速度 图 7? 感兴趣区域 图 8? 利用特征点匹配坐标算出相对速度 4? 结论 本文基于 opencv的光流算法能够很好地提取 运动目标, 实现目标跟踪定位, 在差分及梯度阈值 处理后, 再用基于特征的方法不断地对目标主要特 征进行定位和跟踪, 对大目标的运动和亮度变化具 有鲁棒性, 计算量相对较小, 对大车辆能够实时跟 踪更新, 相邻目标能够很好分割开来。

它也有一些 不足, 光流通有些稀疏, 特征提取和精确匹配也存 5816科? 学 ? 技? 术? 与? 工? 程10卷 在难度, 需要近一步改进 参? 考? 文? 献 1? 杨国亮, 王志良, 牟世堂 ?一种改进的光流算法 ? 人工智能及识 别技术, 2006; 32( 15): 187?189 2? 段先华 ? 基于光流和水平集模型的运动目标自动跟踪方法 ? 江 苏科技大学学报, 2007 ; 21( 5): 59?63 3? 李? 宏, 杨廷梧, 任朴舟 ? 基于光流场技术的复杂背景下的运动 目标跟踪. 光电工程, 2006; 33( 10): 13?17 4? 万文静 ?基于光流的图像目标跟踪方法研究 ? 西安: 西北工业大 学, 2006 5? A div G? Deter m ining three?di mension motion and structure from opti ? cal flow generated by severalmoving objects ? I EEEE Transaction on Pattern Analysis andM achine Intelligence, 1985 ; 7( 4): 384?401 An Improved Optical Flow Algorithm in in Vehicle Identification and Tracking HU Jue?hu,i L IYi? m in, PAN Xiao?lu ( School of Infor mation and Automation , Kunm ing University of Science and Technology, Kunming 650051 , P. R. China) [Abstract] ?Fra mes difference to get moving regions ,gradient threshold to get binary i m ages?extracting feature points∀ optical flow of moving regions , marking optical flow vector by section , setting up ROI , using optical flow to get identification , orientation, tracking ofmoving target are introduced?Thismethod has real?ti me and robustness to moving target tracking? It can be used in traffic flow statistics and is also a bedding of driver assistance re? search?Experi m ental results show the effectiveness and practical of thismethod . [Key words] ?difference??optical flow vector??tracking??driver assistance (上接第 5810页 ) 3? 结语 通过实验可知高弹应力吸收层具有优异的防 水作用和抗变形能力, 在防治旧水泥混凝土路反射 裂缝、 保护基层稳定、 提高沥青路面整体质量和延 长加铺层寿命方面, 具有其他措施无法比拟的优点。

( 1) 通过渗水性测试知沥青加铺层完全不渗 水,。