人类手势动力学通过多重暗示整合以及限制融合的可靠跟踪-中文翻译.docx

附录一英语译文摘要人类手势动力学通过多重暗示整合以及限制融合的可靠跟踪予瑟夫 阿祖 拉立萨 大卫 瑞杰夫 沙玛计算机科学工程系宾夕法尼亚州立大学大学公园，巴拿马 16802{azoz，devi，rsharma}@cse.psu.edu 手势的运用提供了一种与计算机发电显示自然相合的有效方式利用一个或多个摄影机，手部动作可以潜在的被理解为有意义的手势在建立一个没有受限制设置的那种界面中的一个关键问题是在影像序列中使人类手臂局部化，达到跟踪的目的本文提出一种与跟踪构架相联系的以多重暗示为基础的局部化方案，以在不受限的环境中可靠地跟踪人类手臂动力学这一方案将动作，形状和颜色整合起来以找出一系列关键的影像特征通过限制融合，这些特征会被修正过扩展过的可以开发手臂组装结构的卡尔曼滤波器追踪到同时，我们还提出了一套将跟踪和局部化相整合的方案，以在减少计算要求的时候改善评估过程这一框架的实施在大量试验和模拟的帮助下得以验证1 引言近来，正在开发一些技术能够产生各种各样计算机发电显示的新形式，例如，虚拟，现实，放大的现实，和其他可广泛接触的3维显示。

然而，目前用于人机相互作用的技术已经落后了这引发了对人机相互作用的新设备新技术的积极研究这些新产生的技术包括计算机对人类肢体动作在想象基础上的阐释和对语言的识别尤其是，手势为目前用于人及相互作用的笨重的接口设置提供了一种诱人的选择手势的人及相互作用阐释要求人类的手、手臂、有时候身体的动态或静态的轮廓能够被机器识别测量在以想象为基础上掌握手臂动力学上的挑战是为设置和系统应用者尽可能的减少限制过去关于手部动作分析的研究运用了简单的背景或对使用者做了一些限制，例如，手套和标记，[4，7]由于做一些简单的不会在复杂环境中出现的假设而忽视看局部化问题有几个面部局部化技术采用了个别的动作，颜色或者形状的暗示，［6，10］.格拉夫等提出在联合分割面部中运用动作，形状和颜色的多重暗示会导致更坚固的分割这些方法不能被直接运用到手或手臂的局部化，原因是：手一直在动，手能够被阻隔，衣服可以导致颜色和形状的任意性等这样一来，多模式局部化方案和有效跟踪的联合式必要的几种人体跟踪方式已经在文学中提出李和库尼把在手部动作分析中控制手部动作的限制合并起来几个研究人员在人类肢体动作分析中运用卡尔曼滤波器，但是这些方案都没有找到在评估过程中生理模式的限制。

另外，目前没有关于详细的手臂动力学跟踪的报道然而，这已经是一个重要的问题，因为手臂动力学在手势分析中起重要作用在本文中，我们提出了一种多重暗示基础上的局部化方案，在限制融合的基础上和一种跟踪结构联合起来，以实现在不受限制的环境中实施手臂动力学的跟踪这一局部化方案采用动作，形状和颜色的多重暗示它可以在一种杂乱的环境中依然很好的执行，利用肩，肘，手对跟踪构架相应的不确定性提供它们的位置为了微调完成从局部化中得到的数据，手臂的几何限制在跟踪中和一种修正后的扩展后的卡尔曼滤波器合并不管闭塞与否，手臂都可以被跟踪到，手臂完整的动力学可以作为跟踪的输出被获取一个特征点会减少局部化的研究范围，跟踪构架可以提供每一特征点的不确定区域在数次试验和模拟的帮助下实施分析验证了局部化、跟踪、和相互作用方案的实际可行性2.带有限制融合的跟踪手的跟踪构架是建立在带有额外的循环合并的扩展了的卡尔曼滤波器上构架在这种额外循环上通过融合对系统的限制探索手臂的铰接结构跟踪的输出包括手臂特征点的位置、速度和加速度参数这些参数在手势识别中是很重要的，因为一个手势的三个阶段——准备、划出和收回，是在这些参数变化的基础上被识别的。

选择卡尔曼滤波器的状态向量包括每个特征点的位置，速度和加速度参数X--,Y—和Z—的坐标系假定手臂有一个等加速度轨道这一系统模式的方程式是 X(k+1)=φX(k)+βw(k) (1)X(K)是状态向量，W(K)是系统噪音；φ是在等加速度轨道基础上定义系统模式的矩阵，β是描述加速度中微扰的向量局部化提供测量作为特征点的3维坐标系，下列方程式描述了系统的测量模式 Z(K)=HX(K)+αV(K) (2)Z(K)是包括在XYZ坐标系中特征点位置的测量向量H定义了测量和状态向量之间的联系α混合在测量噪音中，V(K)是噪音测量向量V(K)和W(K)被假定为不相关的零中间值白高斯噪音序列人类手臂的铰接结构给其动作带来一些限制这些限制描述了模式各成分之间的相互关系在我们的研究中，我们会利用手臂模式中特征点之间的距离限制这些限制可以以下面的形式出现： Ψn(X1,X2,…,Y1,Y2,…)=0,n=1,…,n (3)点与点之间的关系，Ψn可以是线性的或非线性的在非线性的情况下，Ψn通过在状态向量现在评估周围利用泰勒扩张被线性化。

距离限制探索的是这样一个事实：在确定的特征点之间的距离在整个跟踪过程中保持不变这些限制也帮助我们预测由于闭塞或其他不确定因素而丢失的特征点的坐标系由d12标示的肩肘之间的距离和由d23标示的肘手间的距离被用作限制这些长度和带有错误协方差的状态向量的初始评估可以通过初始化过程获得相链接客体的限制在额外的融合循环中得到融合这一融合循环的工作原理是从赫劳和沃尔曼的成果中所得在循环的每一个步骤中，状态向量的评估通过融合单个测量和单个限制逐步升级图表1显示了全面的跟踪过程卡尔曼滤波在跟踪中是很健全的，因为它吸收了所有关于手臂运动轨道及其模式的信息假定手臂随着等加速度和已知的模式和测量噪音运动，卡尔曼滤波器就提供了一种最佳的手臂状态评估另外，在额外循环中融化过程研究和手臂的铰接结构有关的限制这改善了评估，使在数据缺失情况下系统产生人工测量成为可能 图表1 带有融化循环的卡尔曼滤波器限制和测量在融合循环中以一种特定的顺序融合，在外圈循环预测下一次状态向量时，提高在这一具体时间的评估 3.采用多种暗示的局部化局部化框架录用颜色、动作和形状的多重暗示是手臂的特征点一影像序列局部化多重暗示的整合使得即使在闭塞和杂乱的环境中也能够健全地执行。

例如，在复杂的背景下，颜色暗示可能失败，但是，局部化可以通过动作和形状的暗示来完成所以，我们提出这些暗示的整合为了消除使用者和环境的限制另一方面，主要的挑战在于把这些暗示有效快速地联合起来我们采用了在融合这些暗示的方法的基础上的一种模式局部化过程找到了特征点的位置它还为不确定因素的测量提供了在每一种暗示力量基础上的测量尺度这些不确定因素指与卡尔曼滤波器的不一致和错误3.1颜色暗示我们采用一种随机模式从影像上描绘人类面部和手部的肤色利用肤色使脸和手局部化加快了整个过程而且，根据脸和手上颜色群的尺寸不同，很容易辨别两者获取的颜色受到很多因素的影响，例如，周围的灯光，对象的移动等肤色还因人而异为了克服这些问题我们采用彩色空间来描绘肤色甚至在变化的照明条件下，肤色也会被彩色唯一认定彩色（r,g），即没有亮度的“纯”色，被定义为：r=R/(R+G+B) (4)g=G/(R+G+B) (5)在这里，R,G,B分别指一个三原色影像中的红绿蓝彩色值上面两个方程式定义了从R3到R2的映射蓝色在经过标准化r+g+b=1后就成了多余的，我们采用颜色柱状图的方式把脸和手与画面的其他部分分割开来。

在标出皮肤区域的初始化过程中rg颜色面较集中其结果是使用者肤色的二维颜色柱状到那时合为一维，柱状图为彩色空间中的每种颜色提供了可能如果在柱状图中相应的r和g的色值高于一个确定的门槛的话，像素就会作为皮肤的一部分被标出来3.2 动作暗示动作时局部化中另一个重要的暗示，因为一般来说在一个典型的人及相互作用画面中手臂运动的最多我们利用棱边为形状分析从影像中提取手臂，但是由于杂乱的背景，棱边的探查会导致手臂原有棱边以外的棱角利用动作暗示就是为了排除属于背景或人体其他部分的不移动的棱边动作暗示用于联合棱边找到时间变化棱边（TVA）每一个像素周围明确的差异显示了影像时间的变化程度如果F（x,y,t）表示某一个时间t某一个影像点(x,y)的强度，TVA,E(X,Y,t)就能通过把时间变化程度，dF/dt和三维变化相连估算出来，如下： E(x,y,t)=dF(x,y,t)/dS ·dF(x,y,t)/dt (6)如果结果大于一个确定的门槛的话，像素就会被分类为TVA由于手臂在一个画面中运动得最多，它可以轻易地从背景中提取这为我们提供了一种分离手臂棱边的方法。

3.3 形状暗示和多重暗示的融合文学上存在各种方法把相同输入多重渠道的输出结合起来，一种方法是分别评价每一渠道的输出然后在最后将它们结合起来，另一种方法是在出错率基础上直接按照不同的分量把不同分类者的输出结合起来我们采取的整合方法是尽早把不同渠道的结果结合起来在颜色和动作暗示整合后再吸收波形信息颜色分离产生各种主要颜色群探索动作暗示是为了背景噪音引起的这些颜色群不同尺寸的滤波器用来探查属于手和脸的颜色群为了减少错误群，属于手的颜色群通过核对搜索区内最强的时间变化棱边得到确认手的位置正好在群的中心属于面部的群用来寻找肩上的点由于比起身体的其他部位，脸运动得相对较少，所以我们设想在肩上的点和面部中心保持一个相对不变的距离，用这个在初始化过程中获得的不变的距离可以估算出肩上的点属于手和脸的群的中心为定位肘对于被这两个点限制的区域的位置缩小了搜索范围在缩小了的搜索区域内时间变化棱边利用轮廓线被分组根据在中描述的运算法则使在手部以一个高像素值开始的棱边线性化，变得平直这一精心选择的过程可以排除在噪音中或由于整体运动产生的时间变化棱边搜查这些像素是为了肘的定位在此套棱边上搜寻手臂模式的最佳匹配的过程中肘部定位。

定义这些特征时需要考虑手臂的几何，在任何一边有最长连线的而且距离手和肩之间的假定线最远的像素被定义为肘部像素给予长度的分量要大于给予距离的假使有比由人穿的衣服产生的肘部像素更长的像素，它就会被拒绝，因为和真正的肘部像素相比，它周围线的长度很小我们发现与手和肩有关的不确定因素利用群移动手和脸，两个群的集团重心是通过利用与属于该群的像素的r和g色值有关的可能性估算出来的该中心与实际中心的距离测量了有定位有关的不确定因素集团的重心通过以下公式计算出来： Xw=∑xi×prob(rgi)/∑prob(rgi) (7) Yw=∑yi×prob(rgi)/∑prob(rgi) (8)与肘部点相联系的不确定因素是通过利用在手和肩的定位的基础上的方式估算的从肩和手的定位中得到假定线，假定线和在肘点的两边的线是平行的在这些线的交叉点和肘点之间的距离定义为肘点的不确定测量（方程式9和10） △x=(x1m1—x2m2—y1+y2)/(m1—m2)—x3 (9) △y=xm1—x1m1+y1—y3 (10)(x1,y1),(x2,y2)和(x3,y3)分别是手，肩和肘点的坐标系。

M1和m2是分别从手和肩开始的线的斜率 图表2 表示多模式局部化和跟踪构架之间相互作用的结构图 多重暗示的整合产生了一种健全的特征点的局部化不同的暗示在处理有。