三维立体空间中的多目标跟踪方法.docx

三维立体空间中的多目标跟踪方法专利名称：三维立体空间中的多目标跟踪方法技术领域：本发明涉及计算机立体视觉(Stereo Vision)、通信编码(Channel Coding)、计算机搜索技术(Computer Searching Methods)、模式识别(Pattern Recognition) 数值分析(Numerical Analysis)，适用于虚拟现实和控制系统的输入环节，以及面向轨迹的操作应用，为一种三维立体空间中的多目标跟踪方法背景技术：目前，普及应用的输入设备主要是键盘为代表的按键类设备和鼠标触摸屏为代表的指点类设备在文字处理和日常性办公室用中可以很好的满足要求，但是在日趋火热的三维处理领域，以符号或二维坐标为输入信号的外围设备则不能很好的适应这种趋势而现有的三维输入系统又存在实时性、精度、自由度、可靠性、便携性、成本等方面的不足为此，一种廉价的易于集成的实时三维立体输入技术将促进立体技术的普及和应用深入三维输入设备主要有以下几种(1)三维扫描仪通过对同一物体多角度的扫描来重建物体的立体模型优点扫描精度高缺点扫描时间长，不适合运动物体的建模2)运动重建设备使用运动传感器，可以感知设备加速度和角度的变化，然后通过积分来重建运动轨迹。

优点成本低，适合简单应用缺点初始位置无法确定，只能通过积分变换得到相对位移此类的输入设备的数据精度不高，且误差有时间累积效应3)3D摄像机模仿人眼的结构，通过两个或以上摄像头同步获取的图像进行解析，以达到三维模型的重建优点理论上可以媲美人眼来完全解析任何立体缺点算法耗费运算量很大，成像质量要求高，不适合大规模实时的场合4)透视法解析此方法只适合空间某点的解析，利用“近大远小”的透视法则使用一个摄像机来对球型物体进行定位优点成本极低，算法简单，实时性好缺点精度一般，不能进行旋转操作5)深度摄像机a)第一种是投影设备对物体投射有规律的图案，然后对反馈回来的空间扭曲图案进行逆向解析来得到立体影像缺点需要额外的投影设备，分辨率受到投射图案和摄像设备的双重限制b)第二种是由光源以脉冲的形式发光，然后对光线传播的时间进行计算，得到物体的立体影像缺点要求有精确的拍摄时间控制共同优点算法相对简单，容易集成；共同缺点对被解析物体材质的反光特性有一定要求；受环境光影像很大6)三维鼠标由传统鼠标升级而成，加入了旋钮和可升降的机械模块，用于表示立体空间中的上下移动和旋转优点符合传统使用习惯，成本低缺点Z轴方向上的移动相对较慢，附加的输入设备不符合人体对高度和旋转的直接理解，不能做到快速实时的立体轨迹的输入。

对于目前的输入技术，主要问题集中在以下几个方面(1)摄像机的限制目前的摄像机虽然较以前有了明显的进步，但对于运动跟踪而言，高速摄像机的功耗、体积和价格都不能满足普及的需要普通图像传感器在高速获取图 像的时候，为了保证所获取的画质，曝光时间上必须满足一定的条件，通常室外1/30秒， 室内1/5秒；为了保证足够的细节，通常采用彩色摄像机，对彩色的输出使得内部带宽比灰度摄像机增加了 3倍，对获取图像的数据处理计算量十分庞大，计算速度也受到限制2)算法的限制一般的步骤包括目标轮廓的提取和识别，关键点的识别与对齐， 目标位置和状态的还原每一步都会有比较苛刻的条件限制如复杂物体的建模，需要对大量的样本进行训练，同时也需要充足光照3)误差的控制上一次跟踪状态的误差往往会传播到当前判定过程，误差随时间又积累效应当误差积累到一定限度以后，系统往往会对所跟踪的目标进行误判并丢失目标同时，精度和速度往往是一对不可调和的矛盾发明内容本发明要解决的问题是现有的三维立体输入技术，在实际应用中由于受到图像传感器、跟踪算法和跟踪误差等限制，存在系统复杂、设备昂贵、跟踪时受限条件多、精度不高、输入信息处理数据量大等各种问题。

本发明的技术方案为三维立体空间中的多目标跟踪方法，由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对被跟踪目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别码，二进制识别码对应光信号发射器的亮灭，所述二进制识别码之间满足一个识别码与其余任意识别码经过“或运算”后不能得到另一个识别码；时序控制电路控制所有光信号发射器的亮灭时序，所述亮灭时序与摄像机帧时序在时间上保持同步，光信号发射器按照二进制识别码和亮灭时序，不断发出周期性光信号，组成定位坐标系统；开始跟踪时，首先进行初始化，设置被跟踪目标设备上的关键点对应的光发射器全亮，跟踪装置在建立光信号立体坐标的基础上，将被跟踪目标经过一个帧时序后所有可能的姿势作为初值，用来生成初始的轨迹路径，轨迹路径是对被跟踪目标的姿势关于时间的描述；跟踪装置通过对关键点的识别实现对被跟踪目标运动轨迹路径的更新，跟踪装置包括跟踪信号接收系统和跟踪信号处理系统，所述跟踪信号接收系统由一组摄像机及立体坐标重建模块组成，摄像机即为图像传感器及其配套的光学系统，图像传感器在光信号发射器亮灭的同时，同步拍摄获取其光信号，立体坐标重建模块在一组摄像机成像平面的基础上重建所获取的光信号的空间坐标；跟踪信号处理系统依据编码电路设置的识别码以及亮灭时序进行动态解码，解码的过程也就是对被跟踪目标进行跟踪的过程由识别码确定设置在关键点上光信号发射器的亮灭，将识 别码确定的亮灭时序与同步拍摄的图像序列对应，搜索光信号和关键点之间的对应关系，确定关键点的空间坐标信息；由轨迹路径预测出当前时刻被跟踪目标设备的姿势，然后根据关键点的空间坐标对预测姿势进行校正；根据校正前后姿势的差异值，选择差异值最小的校正后姿势，确定为被跟踪目标设备在空间中的姿势，并将其更新到轨迹路径中，如此循环，实现对被跟踪目标姿势的持续跟踪，其中轨迹路径最多保留1帧所对应的姿势用于预测下一帧的姿势，1为假定运动状态不变的时间段所对应的帧数，为进行跟踪之前的初始设定值。

对每一个被跟踪目标设置多条轨迹数据来保存搜索过程中得到的各种可能的轨迹路径所对应的姿势及其拍摄时间，并将所述轨迹数据作为下一次跟踪的预测姿势的预测基础；对同一个被跟踪目标的不同轨迹数据所记录的校正前后姿势的差异值求和，得到轨迹数据的总差异值，确定与总差异值差别最小的轨迹数据所对应的轨迹路径作为实际的运动轨迹结果输出，用于防止预测错误的发生在校正被跟踪目标姿势之后，检查在此姿势下，搜索到的关键点是否涵盖了所有摄像机理论上可以捕捉到的关键点，检查过程依据关键点在被跟踪目标设备上的位置、关键点对应光发射器的亮灭情况和校正出来的姿势来进行优选跟踪装置和被跟踪目标设备之间有通信连接，用于数据和指令的传输，保证跟踪装置和被跟踪目标设备之间的时序同步本发明采用双目摄像机，通过捕捉至少3个不共线的关键点及其立体空间坐标确定被跟踪目标设备的姿势，立体坐标重建模块通过双目摄像机获得的图像基础上重建出光信号的立体坐标点，所述的双目摄像机是指拍摄图像完全同步的两台并列摆放的摄像机进一步的，被跟踪目标上还设有运动传感器，运动传感器获取被跟踪目标的运动参数输入跟踪信号处理系统，用于识别被跟踪目标运动状态的突然改变，所述运动传感器包括电子陀螺仪和加速度传感器；被跟踪目标设备在当前时刻的预测姿势由被跟踪目标运动的轨迹路径和运动传感器输出的数据共同确定。

优选光信号发射器为LED发光二极管，跟踪装置采用黑白摄像机基于计算机立体视觉对观察区域内活动的多个被跟踪目标的运动轨迹进行跟踪；跟踪装置中设有光学滤波器，光学滤波器允许通过光线的波长与光信号发射器发出的光信号波长相一致，关键点的光信号经过光学滤波器后输入图像传感器跟踪信号处理系统设有对外接口模块，用于接收主机的命令和提交跟踪结果本发明假设被跟踪目标设备的运动具有短时平稳性，即被跟踪目标的运动在短时间内的运动参数不会连续剧烈变化，这样才能保证通过采集不同时刻的部分关键点坐标来还原被跟踪目标的姿势，目前的实际操作中的三维跟踪应用场合，运动目标的运动基本都具有短时平稳性为了解决现有技术中存在的问题，本发明采用高亮度的LED发光二极管来发射信号，使得黑白摄像机进行超短时间(例如1/10000秒)的曝光也可以获得高质量的信号，解决了低成本传感器对高速运动物体引起的拖尾现象；只针对光点进行识别，不需要对被跟踪目标的复杂立体结构进行影像配准(注册)，而只需要确定光点对应的关键点的位置就可以进行识别；关键点的对应的光信号发射器由事先确定的识别码控制亮灭，可以在动态中对各个关键点加以区分其中光点的位置由一组摄像机决定，以摄像机位参考点，误差不会随时间的积累而扩散。

在本发明系统中，由于只需要对有限的关键点进行追踪，算法的复杂度只和关键点的个数以及搜索的深度有关，当系统对目标进行误判以后，由于各关键点的有互异的编码，可以有效地对丢失的目标状态进行纠正，并排除干扰项本发明是一套完整的多目标在立体空间的定位和跟踪解决方案，可以很好的和各种立体应用程序配合用编码的方式将各个关键点加以区分，以此来获得更准确的跟踪效果，实现多目标跟踪，不仅定位准确，而且还可以提供被跟踪目标的方向信息，实现三维坐标的平移及旋转信息的及时获取本发明的的有益效果是实现了低成本的精确多点在三维立体空间中的定位在三维设计、3D操作系统、远程医疗、虚拟现实、涉及立体的实时操作领域内有着广泛的应用， 并且原理简单，利于普及推广，具体有如下优点1)对图像传感器的要求低曝光时间要求短、灰度或黑白图像、不要求图像处理模块，只在高速跟踪时候对帧速(fps)有一定要求，降低了系统成本；2)各个模块之间的数据交换量小对于数据量最大的图像数据，只传送有限个亮点数据及其坐标的压缩矩阵，降低了硬件设计的难度；3)使用了编码技术，处理对象从图像象素或图像特征变为三维立体空间中的关键点，降低了跟踪处理设计的难度并提高了跟踪精确性；4)使用了辅助运动传感模块，即运动传感器，进一步降低了第(1)项中帧速的要求，给跟踪处理提供了更好的预测模型；5)利用多个关键点之间的空间拓扑关系可以减少跟踪算法搜索的复杂度。

图1为本发明被跟踪目标在空间中运动时的姿势以及关键点的编码的示意图，被跟踪目标设备在运动时关键点的亮灭情况编码为关键点1 :1100，关键点2 :1001，关键点 3 :0011，关键点 4 =OllO0图2为本发明被跟踪目标运动过程中，相邻运动状态的解码过程图3为本发明被跟踪目标部分的设备结构示意图图4为本发明跟踪装置的结构示意图图5为本发明系统的整体流程结构示意图图6为操作者在本发明摄像机前移动或旋转手持目标设备，系统对其进行立体位置和角度的跟踪示意图图7为本发明的应用举例一雕塑家直接用本系统输入的空间轨迹雕塑各种造型图8为本发明的应用举例二 医生在远程通过视频对手术器官进行观察，用本系统提供的立体坐标输入设备控制手术刀，对经过数字化放大处理的三维影像进行精确手术图9为本发明对多个目标设备进行跟踪的示意图具体实施例方式本发明是一种三维立体空间中的多目标跟踪方法，对被跟踪目标的关键点用识别码的方式来进行区分，使用一组高速摄像机对跟踪区域的关键点实现立体空间的跟踪和定位，并通过运动传感器来增强跟踪预测的效果 具体为由跟踪装置对被跟踪目标进行三维空间跟踪，被跟踪目标设备上安装有光信号发射器，光信号发射器依据设定的识别码规律的产生光信号，跟踪装置通过摄像机连续拍摄的方式获取光信号的信息，从而对目标设备的姿势进行跟踪识别，所述姿势为被跟踪目标设备的立体空间位置和旋转在被跟踪目标上选定关键点，在关键点上对应设置光信号发射器，并对应设置编码电路和时序控制电路，编码电路对每一个光信号发射器设置唯一的二进制识别。