鉴别式多核手跟踪.pdf

第３ ５卷 第４期 ２ ０ １ ２年４月计 算 机 学 报 ＣＨ Ｉ Ｎ Ｅ Ｓ Ｅ Ｊ ＯＵＲ ＮＡ Ｌ Ｏ Ｆ Ｃ ＯＭＰ ＵＴ Ｅ Ｒ ＳＶ ｏ ｌ ． ３ ５ Ｎ ｏ ． ４ Ａ ｐ ｒ ． ２ ０ １ ２收稿日期：２ ０ １ ０－０ ３－２ ０； 最终修改稿收到日期：２ ０ １ ２－０ ２－２ ９．本课题得到国家自然科学基金（６ ０ ４ ７ ２ ０ ２ ８） 、 国家教育部博士 点基金项目（２ ０ ０ ４ ０ ０ ０ ３ ０ １ ５） 资助． 沙 亮， 男，１ ９ ８ ２年生， 博士， 主要研究方向为计算机视觉和图像处理． Ｅ－ｍ ａ ｉ ｌ：ｓ ｈ ａ ｌ ０ ５＠ｍ ａ ｉ ｌ ｓ ． ｔ ｈ ｕ． ｅ ｄ ｕ． ｃ ｎ． 王贵锦，男，１ ９ ７ ６年生， 副教授， 主要研究方向为计算机视觉等． 林行刚， 男，１ ９ ４ ４年生， 教授， 博士生导师， 主要研究领域为图像处理等．鉴别式多核手跟踪沙 亮 王贵锦 林行刚（ 清华大学电子工程系智能技术与系统国家重点实验室图形图像分室 北京 １ ０ ０ ０ ８ ４）摘 要 快速运动、 背景混杂及手的特殊性为传统的核目标跟踪技术提出了挑战． 文中提出一种鉴别式颜色子空间选择和多核校正机制的核跟踪方法． 首先基于前景背景建模， 通过鉴别函数选取最优鉴别式颜色子空间集， 再基于训练的肤色模型保留高置信子空间表征目标．其次， 为适应尺度变化和快速运动， 基于多核快速估计相似度表面以校正初始核位置， 迭代定位目标．实验表明， 融合二者的跟踪器在有效性和速度上都实现了满意的性能， 满足实时性需要．关键词 核目标跟踪； 鉴别式特征选取； 混合高斯模型； 计算机视觉中图法分类号Ｔ Ｐ ３ ０ ９ Ｄ Ｏ Ｉ号：１ ０． ３ ７ ２ ４／Ｓ Ｐ． Ｊ ． １ ０ １ ６． ２ ０ １ ２． ０ ０ ８ １ １Ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｖ ｅ Ｍ ｕ ｌ ｔ ｉ－Ｋ ｅ ｒ ｎ ｅ ｌ Ｂ ａ ｓ ｅ ｄ Ｈ ａ ｎ ｄ Ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇＳ ＨＡ Ｌ ｉ ａ ｎ ｇ ＷＡＮＧ Ｇ ｕ ｉ－Ｊ ｉ ｎ Ｌ Ｉ Ｎ Ｘ ｉ ｎ ｇ－Ｇ ａ ｎ ｇ（Ｓ ｔ ａ ｔ ｅ Ｋ ｅ ｙ Ｌ ａ ｂ ｏ ｒ ａ ｔ ｏ ｒ ｙ ｏ ｆＩ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ Ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ Ｓ ｙ ｓ ｔ ｅ ｍ，Ｄ ｉ ｖ ｉ ｓ ｉ ｏ ｎ ｏ ｆＩ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ Ｉ ｍ ａ ｇ ｅ ａ ｎ ｄ Ｇ ｒ ａ ｐ ｈ ｉ ｃ ｓ，Ｄ ｅ ｐ ａ ｒ ｔ ｍ ｅ ｎ ｔ ｏ ｆＥ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｓ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ，Ｔ ｓ ｉ ｎ ｇ ｈ ｕ ａ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ，Ｂ ｅ ｉ ｊ ｉ ｎ ｇ １ ０ ０ ０ ８ ４）Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ Ｆ ａ ｓ ｔ ｍ ｏ ｔ ｉ ｏ ｎ，ｂ ａ ｃ ｋ ｇ ｒ ｏ ｕ ｎ ｄ ｃ ｌ ｕ ｔ ｔ ｅ ｒ ａ ｎ ｄ ｃ ｏ ｍ ｐ ｌ ｉ ｃ ａ ｔ ｅ ｄ ｈ ａ ｎ ｄ ｍ ｏ ｄ ｅ ｌ ｉ ｎ ｇ ｃ ｏ ｎ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｔ ｏ ｔ ｈ ｅｃ ｈ ａ ｌ ｌ ｅ ｎ ｇ ｅ ｏ ｆ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｏ ｂ ｊ ｅ ｃ ｔ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ． Ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｓ ａ ｎ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｄ ｋ ｅ ｒ ｎ ｅ ｌ ｂ ａ ｓ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ ｍ ｅ ｔ ｈ ｏ ｄ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｖ ｅ ｓ ｕ ｂ ｓ ｐ ａ ｃ ｅ ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｍ ｕ ｌ ｔ ｉ－ｋ ｅ ｒ ｎ ｅ ｌ ｃ ａ ｌ ｉ ｂ ｒ ａ ｔ ｉ ｏ ｎ ｍ ｅ ｃ ｈ ａ－ｎ ｉ ｓ ｍ． Ｆ ｉ ｒ ｓ ｔ，ａ ｂ ａ ｇ ｏ ｆ ｃ ａ ｎ ｄ ｉ ｄ ａ ｔ ｅ ｓ ｕ ｂ ｓ ｐ ａ ｃ ｅ ｓ ａ ｒ ｅ ｇ ｅ ｎ ｅ ｒ ａ ｔ ｅ ｄ ｂ ｙ ｌ ｉ ｎ ｅ ａ ｒ ｉ ｍ ａ ｇ ｅ ｓ ｐ ａ ｃ ｅ ｍ ａ ｐ ｐ ｉ ｎ ｇ，ｔ ｈ ｅ ｄ ｉ ｓ－ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｖ ｅ ｓ ｕ ｂ ｓ ｐ ａ ｃ ｅ ｓ ａ ｒ ｅ ｏ ｎ ｌ ｉ ｎ ｅ ｓ ｅ ｌ ｅ ｃ ｔ ｅ ｄ ｂ ｙ ｅ ｖ ａ ｌ ｕ ａ ｔ ｉ ｎ ｇ ｈ ａ ｎ ｄ ａ ｎ ｄ ｂ ａ ｃ ｋ ｇ ｒ ｏ ｕ ｎ ｄ ｉ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ｍ ｏ ｄ ｅ ｌｖ ｉ ａ ａ ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｖ ｅ ｆ ｕ ｎ ｃ ｔ ｉ ｏ ｎ，ｔ ｈ ｅ ｎ ａ ｎ ｏ ｆ ｆ－ｌ ｉ ｎ ｅ ｔ ｒ ａ ｉ ｎ ｅ ｄ ｍ ｉ ｘ ｔ ｕ ｒ ｅ ｏ ｆ Ｇ ａ ｕ ｓ ｓ ｉ ａ ｎ ｓ ｋ ｉ ｎ ｍ ｏ ｄ ｅ ｌ ｉ ｓ ｅ ｍ ｐ ｌ ｏ ｙ ｅ ｄｔ ｏ ｃ ｏ ｎ ｃ ｅ ｎ ｔ ｒ ａ ｔ ｅ ｓ ｕ ｂ ｓ ｐ ａ ｃ ｅ ｓ ｏ ｆ ｈ ｉ ｇ ｈ ｃ ｏ ｎ ｆ ｉ ｄ ｅ ｎ ｃ ｅ ｔ ｏ ｆ ｏ ｒ ｍ ｕ ｌ ａ ｔ ｅ ｔ ｈ ｅ ｏ ｂ ｊ ｅ ｃ ｔ ｒ ｅ ｐ ｒ ｅ ｓ ｅ ｎ ｔ ａ ｔ ｉ ｏ ｎ．Ｓ ｅ ｃ ｏ ｎ ｄ，ｔ ｏａ ｄ ａ ｐ ｔ ｔ ｏ ｆ ａ ｓ ｔ ｍ ｏ ｔ ｉ ｏ ｎ ａ ｎ ｄ ｓ ｃ ａ ｌ ｅ ｖ ａ ｒ ｉ ａ ｔ ｉ ｏ ｎ，ｔ ｈ ｅ ｋ ｅ ｒ ｎ ｅ ｌ ｌ ｏ ｃ ａ ｔ ｉ ｏ ｎ ｉ ｓ ｃ ａ ｌ ｉ ｂ ｒ ａ ｔ ｅ ｄ ｖ ｉ ａ ｍ ｕ ｌ ｔ ｉ－ｋ ｅ ｒ ｎ ｅ ｌ ｓ ｉ ｍ ｉ ｌ ａ ｒ ｉ－ｔ ｙ ｓ ｕ ｒ ｆ ａ ｃ ｅ ｅ ｓ ｔ ｉ ｍ ａ ｔ ｉ ｏ ｎ；ａ ｎ ｄ ｆ ａ ｃ ｉ ｌ ｉ ｔ ａ ｔ ｅ ｄ ｉ ｔ ｅ ｒ ａ ｔ ｉ ｖ ｅ ｔ ａ ｒ ｇ ｅ ｔ ｌ ｏ ｃ ａ ｔ ｉ ｎ ｇ ． Ｅ ｘ ｐ ｅ ｒ ｉ ｍ ｅ ｎ ｔ ａ ｌ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｓ ｈ ｏ ｗ ｓ ａ ｔ ｉ ｓ ｆ ａ ｃ－ｔ ｏ ｒ ｙ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ａ ｓ ｗ ｅ ｌ ｌ ａ ｓ ｒ ｅ ａ ｌ ｔ ｉ ｍ ｅ ｐ ｅ ｒ ｆ ｏ ｒ ｍ ａ ｎ ｃ ｅ ．Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ｋ ｅ ｒ ｎ ｅ ｌ ｂ ａ ｓ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔ ｔ ｒ ａ ｃ ｋ ｉ ｎ ｇ；ｄ ｉ ｓ ｃ ｒ ｉ ｍ ｉ ｎ ａ ｔ ｉ ｖ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏ ｎ；ｍ ｉ ｘ ｔ ｕ ｒ ｅ ｏ ｆ Ｇ ａ ｕ ｓ ｓ ｉ ａ ｎｍ ｏ ｄ ｅ ｌ；ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｖ ｉ ｓ ｉ ｏ ｎ１ 引 言低计算复杂度， 易于实现和出色的性能使核目标跟踪［１］成为计算机视觉领域的研究热点．在核跟踪方法中， 目标通过核加权的颜色直方图描述， 位置通过迭代式的 ｍ ｅ ａ ｎ－ｓ ｈ ｉ ｆ ｔ［２］和梯度下降方法确定．然而， 核跟踪的目标描述无法在背景混杂和目标特征改变的条件下进行适应． 同时， 核跟踪严重依赖于迭代初始位置与目标位置相似度表面连续， 即相邻帧目标区域交叠的假设．在目标快速运动和低视频帧率的条件下， 相邻帧间目标位移很大甚至无交叠，核跟踪即失效． 文献［３］ 中提出了多核跟踪方法以解决该问题， 但由于计算复杂度高， 无法满足实时性需要．特别地， 以手为代表的链接体是由内在关节约束进行自身形变的一类物体， 在人机交互和安全认证等领域具有重要意义． 手的自运动， 在外观下的体现为尺度、 旋转和自遮挡等复杂的变化， 如果结合背景混杂和快速运动等不利条件， 则对核跟踪提出了更为严峻的挑战［４］．为在背景混杂和快速运动等复杂条件下实现低计算复杂度的鲁棒手跟踪， 本文提出了一种鉴别式多核跟踪方法． 在目标描述层面， 结合邻域背景信息， 利用鉴别式函数， 从中选取最优子空间特征并在此基础上描述目标， 再由离线训练的手的肤色模型选出高置信度候选的线性子空间集组成描述子， 从而避免了背景混杂条件下跟踪器的漂移．针对快速运动的问题， 提出了两步多核跟踪机制． 第一步利用尺度自适应多核机制估计目标相似度曲面， 修正当前帧中可能与目标区域不重叠的初始位置， 第二步通过 ｍ ｅ ａ ｎ－ｓ ｈ ｉ ｆ ｔ迭代估计新目标位置． 这一方法引入的计算成本很低， 但使核跟踪的鲁棒性大大提升．图１给出了该方法的整体框图．图１ 算法原理框图本文第２节简介核跟踪方法； 第３节和第４节 分别描述鉴别式子空间特征选取和多核跟踪机制；第５节分析实验性能； 第６节进行总结．２ 核跟踪简介传统的核跟踪技术首先通过核映射， 将目标区域的像素依据其彩色信息值生成核加权式直方图，作为目标的描述子， 如式（１） ：ｑ＾ｕ＝Ｃ∑ｎｉ＝１ｋ（ｘ＊ ｉ２）δ［ｂ（ｘ＊ ｉ）－ｕ］（１）其中函数ｂ：２→｛１…ｍ｝ 将目标区域｛ｘ＊ ｉ｝ｎ ｉ＝１内第ｉ 个像素位置ｘ＊ｉ的索引值ｂ（ｘ＊ ｉ） 映射到量化的特征 直方图中的第ｕ个ｂ ｉ ｎ（ｕ∈｛１…ｍ｝ ） 中．Ｃ为一个归 一化常数；ｋ（ ·） 是一个ｄ维空间加权的核函数， 为 与其它文献对比， 本文中采用Ｅ ｐ ａ ｎ ｅ ｃ ｈ ｎ ｉ ｋ ｏ ｖ核， 如式（２）ｋ（ｘ）＝１ ２Ｃ－１ ｄ（ｄ＋２） （１－ｘ） ，ｘ１０，烅烄烆其它（２）式（２） 中Ｃｄ为ｄ维单位球的体积．其后， 依据目标模型ｑ＾ｕ，核跟踪过程目的为最大化目标模型与在图像的一个局 部区 域ｙ＾最 大 化 候 选 描 述 子ｐ＾（ｙ）＝｛ｐ＾ｕ（ｙ） ｝ｍ ｕ＝１和ｑ＾ｕ＝｛ｑ＾ｕ｝ｍ ｕ＝１的相似度， 其目标函数为ρ（ｙ）＝∑ｍｕ＝１ｐ＾ｕ（ｙ）ｑ＾槡ｕ（３）对上式在ｙ＾０处连续， 可微分， 在ｙ＾０处进行Ｔ ａ ｙ ｌ ｏ ｒ展 开， 对ｙ求一阶偏导数， 即转化为式（４） 的从当前位置ｙ＾０到新位置ｙ＾１的迭代过程：ｙ＾１＝∑ｎｈｉ＝１ｘｉωｉｇｙ＾０－ｘｉ ｈ（）２∑ｎｈｉ＝１ωｉｇｙ＾０－ｘｉ ｈ（）２（４）其中ωｉ＝∑ｍｕ＝１ｑ＾ｕ ｐ＾（ｙ＾０槡）δ［ｂ（ｘｉ）－ｕ］ ，ｇ（ｘ）＝－ｋ（ｘ） ／ｘ（５）δ（ ·） 为符号函数， 式（４） 的收敛速度很快， 通常３～５ 步完成［２］， 从而较好地保证了核跟踪的实时性能．３ 鉴别式手描述所谓鉴别性， 是指能够最大程度地区分目标和背景的特性［５］． 而鉴别式特征选取就是通过评估一系列特征子空间的鉴别性来确定最优的一部分来描２１８计 算 机 学 报２ ０ １ ２年述目标， 其基础是充分大的候选特征子空间集． 考虑到核跟踪中利用的是颜色特征， 本方法利用式（６） 通过线性映射的方式生成这一子空间集．Ψｉ（ｘ）＝∑αｉ，ｊ（ｘ）Ｉｊ（ｘ）（６）在式（６） 中， 原图像Ｉ（ｘ）＝｛Ｉｊ（ｘ） ｝Ｔ中像素ｘ在子空间ｉ中的特征值Ψｉ（ｘ） 通过加权系数矢量αｉ＝ ｛αｉ，ｊ｝Ｔ映射到特征子空间中． 应当强调的是， 这种映射方式的数量是无限的， 可保证生。