通过自适应训练方法对人体复杂行为模式进行识别和跟踪.doc

1 / 47通过自适应训练方法对人体复杂行为模式进行识别和跟踪摘要：自动观察和理解人类行为是计算机视觉研究领域的一个巨大挑战潜在应用领域包括机器人，人机交互，医学研究等在这篇文章中，我们提出的工作为精确识别人类身体动作对人类行为做了的观察和解释目前系统使用不超过三台摄像机，能够追踪广泛多样场景下的很大范围内的动作，包括目标被部分遮挡的情景，以及操作目标作为活动的一部分，或者目标与环境或其他人互相影响的情景我们的系统可自我训练，也即是，能够随着时间学习人类行为的学习模型这既可以用来改进对人类动态的预测，又可以为所观察的行为进行识别和解释提供基础本系统的精确性和稳健性是许多贡献综合作用的结果通过使用人体测量的人体模型，并朝着概率跟踪框架最优化该模型，我们就可以获得一个详细的关于人体形状，姿势和动作的生物力学表述并且，我们引进了一种复杂分层模板策略，嵌入到概率框架中进行跟踪，这种方法胜过了贝叶斯方法的目前水平然后，我们展示了如何使用学习人体表现模型和蕴含环境模型的综合方法，跟踪日常环境下的复杂操作活动最后，我们讨论了关于人体动作的局部性和一致性表述，可作为学习特定环境和特定任务下的动作模型的基础。

本文提出的所有方法依据现行基准，经过了大量实验评估几组具有挑战性的实验范围涉及运动员锻炼，人体工程学的研究案例以及在厨房环境下的日常操作任务关键词：无标记人体动作捕捉概率状态估计人体动作自训练模型行为识别一、介绍观察和解释人体行为一直是人工智能和计算机视觉研究领域中一个持续的兴趣点问题能够理解人类行为并按照人的行为或意图行动是一个雄心勃勃的目标一旦达成这个目标，受益的应用领域涉及机器人的人机交互，医学领域如步态分析等然而，尽管近十年来此领域的研究取得了很大进步，我们仍然面临许多挑战在本文中，我们将展示我们在这个高度活跃的研究领域中做出的贡献我们提出的无标记系统从三个或更多摄像机跟踪人体全身动作，该系统利用一个逼真的人体模型在很高精度上估计观测到的动作我们的系统可以提取现实环 2 / 47境中任何类型动作的信息，不管操作活动，目标处理，目标与环境的交互或人与人之间的交互发生在任何地方并且，我们的系统是自适应系统，它能够随着时间通过学习环境中特定动作模型来改善自身效率最后，这些动作模式可以用来推断观测活动的语意标签，由此推论人类活动和意图图片 1 展示了一个由我们系统实现的示例应用程序人体动作捕捉数据的连续检索补充嵌入式传感器网络的传感器读数，就可以创造出一个人体活动的丰富表述。

由此得到的知识库可以用作语义查询来推导正在进行的活动和人类意图，可以用来筛选相关事件的传感器读数，比如人抓取杯子时所站的位置(TenorthBeetz 2009)更多的示例应用程序在我们系统开始已经实施了，包括真实人体动作与机器模拟器的整合，拟人机器人的动作转移等Fig 1 示例应用程序中，将人体动作捕捉数据整合到知识库中：a)使用多视角动作跟踪器检索人体动作捕捉数据；b)将该数据与其他感觉模块的输入数据（如语义环境地图或嵌入式传感器网络的读数）在知识库中整合排列，达到对人体活动的更高水平的推导 （图片 b 来自于 Moritz Tenorth (Tenorth and Beetz2009 )） 我们系统的精确和完备是几方面贡献的综合结果我们基于模型的方法的基础是人体测量的人体模型，适于在跟踪应用中使用我们的优化过程中使用一组简化的标准形状参数，该参数是脊柱姿势参数以及现实中临时的动作极限获得的生理现实的联合我们使用分支迭代分层模板作为模板策略进行递归姿势估计这种策略在高维空间的人体姿势检索中被证明是极其高效的，尽管它的许多局部极大值存在非线性特征该方法是可靠的，使我们能够使用一般的参数化动作模型，并导致大范围收敛进行跟踪。

另外，我们提出了一种简单高效的分层环境模型，该模型结合基于颜色的外观模型来隐式的处理两种情况的环境遮挡通过（1）从兴趣区域中减去动态的非人类目标，并且（2）为既遮挡了人体目标又同时被人遮挡的目标（例如桌子）建立模型图 2 展示了这些 3 / 47隐式模型在动态环境中的影响我们最后一个贡献是人体动作训练模型的自动化手段，用来改进动作预测和识别行为模式我们提出了一种基于图表的方法进行姿势与位置不变相似性测量之间的模型转换，该方法基于相对较短的时空动作碎片来侦测之前观察到的动作模式Fig2 人体动作捕捉的挑战在于混乱且动态的环境第一组：该场景中跟踪目标被一个汽车模型遮挡了；第二组:该场景中目标在操作他的环境即是再精巧的动作跟踪手段没有一个动态环境模型的情况下也会跟踪失败（中间一列所表现的） 最后一列展示了我们系统的跟踪结果在 HUMANE VA 2 的基准下，与贝叶斯技术目前发展水平相比，大量评估显示了我们的手段具有的潜力不仅仅包括 HUMANE VA 2 基准，我们还提供了更多具有挑战性的序列结果，包括厨房任务，体育序列，人类工程学案例以及多目标跟踪另外，我们的追踪者在创建日常操作活动的厨房数据集（TUM KITCHEN dataset）扮演了不可或缺的角色（Tenorth et al.2009） 。

这里追踪者用来补充装备在厨房环境下的传感器读数，获得全身动作捕捉数据，从而不需要入侵式的基于标记的设备本文剩余部分的内容如下第 2 部分我们讨论了相关工作；第 3 部分我们介绍了人体测量的人体模型以及我们对其的修正；第 4 部分我们提出了一种新颖的分层模板策略，可以高效的剖析人体姿势的高维空间进行人体姿势跟踪第 5 部分我们提出了一种简单高效的环境隐式模型，用来跟踪复杂环境下的操作活动第 6 部分我们展示了如何自由使用动作跟踪系统自动学习特定环境特定任务的人体动作模型有助于改善跟踪效率以及识别观测活动的能力；第 7 4 / 47部分呈现了实验评估结果；第 8 部分做了总结二、相关工作从人体动作捕捉和行为识别的文章中可以获得大量相关工作无标记人体动作捕捉早期的无标记基于视觉的人体动作捕捉方法，通常使用 2D 人体模型和单眼跟踪目标(Chamand Rehg 1999;Juetal. 1996)通常由与人体部分相一致的图像块在关节处连接起来组成的片图模型（pictorial structures (Felzenszwalb and Huttenlocher 2005; Ramanan etal. 2007)）各部分按空间安排组成图像模型，该外观通过概率分布形成参数化。

Agarwal and Triggs (2006)从单眼摄像机视觉提取了更详细更精确的 3D 姿势，这是通过观察到的形状特征与人体模型的姿势参数进行匹配映射得到的该映射借鉴了使用既得人体动作捕捉数据（一种类似于使用多摄像机的方法 taken by Grauman et al. 2003）综合生成人体轮廓方法之后数据推论被应用到从映射和提取前景轮廓中恢复未知 3D 姿势参数Sigal and Black (2006b)在试图分类对应的 3D 动作序列之前，第一次用自底而上(down-up) 的方法估计了 2D 姿势只有人体全部可能动作的很小子集（如走路）在合理费用下可以被获知，为得到无约束的人体动作的精确的 3D 测量，几种手段均需要使用不只一台摄像机，立体摄像可折中的获得有所丢失的 3D 信息，是精确姿势估计所需要的(Plänkersand Fua 2001; Grest and Krüger 2007)，在一些点上他们仍保持视角点依赖性使用多重分布摄像的 3D 模型方法（如本文中提到的方法）通常是一种由上自下（top-down ）的方法，如首先预测到模型的姿势，然后进行基于观测的评估。

概率的方法试图使用递归贝叶斯评估推断解决方法这种方法近似于使用顺序蒙特卡洛方法（粒子滤波） 通常的方法如采用重要性重采样（sampling importance resampling）由于问题的高维而失效Deutscher and Reid ( 2005)提出了一种退火粒子滤波（APF ）该方法与退火算法(Kirkpatrick et al. 1983)相关，使粒子集朝着加权函数的全局最大化方向发展MacCormick and Isard (2000)引进了粒子抽样（PS ）来评估铰接模型（articulated models）的参数，该方法通过将状态空间分离成几个层次，再依次评估，这样就将最初的高维评估问题变成了几个低维问题我们在 4.4 节提出的 BIHS 方法，通过合并相互补充性的随机优 5 / 47化和层次细分的概念，从而更高效可靠的使用粒子通过平行细分策略评估粒子，我们预防了粒子积聚在局部最大值，避免了人体动作跟踪的主要困难之一Mitchelson and Hilton (2003)提出了一种变化分层采样方法，可以平行分割评估，但是他们潜在的遗漏了随机重构步骤的相关信息其他工作使用与随机方法相对的确定性方法。

这里，参数评估基于非线性最优化（Bregler et al.2004;Knossowetal. 2008） 一个好的初始化估计对避免陷入目标函数极小值是十分必要的Rosenhahnet al. ( 2006)采用随机选取几个初始点来减小陷入局部极小值的风险Brayet al. ( 2007)结合非线性优化和蒙特卡洛方法来避开这个问题，这点在概念上与我们的方法十分接近Ivekoviˇcetal.(2008)提出了另外一种十分相近的相关方法，粒子群优化用来跟踪上身运动其他方法使用迭代最近点算法（ICP）的变种来标注 3D 点云人体模型(Pellegrini et al. 2008; Knoop et al. 2009)几种方法从多重摄像机（视觉船体 vision hulls）建立了人体表面的 3D 重构可用来测量人体模型表面和最接近的 3D 重构点之间的偏差(Mi-kic et al. 2001; Kehl and Gool 2006; Horaud et al. 2008)其他相关方法没有使用任何明确模型，直接通过共享相同动作模式的 3D 点簇来估计人体关节位置(Cheung etal. 2003; Anguelov et al. 2004)。

利用视觉船体（vision hulls）方法要求环境中配置高密度摄像机才能够较精确的重建观察的目标（通常最少需要 8 台摄像机） 我们可以进一步区分基于使用了 3D 人体模型的方法，通常表面建模是方法不同身体部分的外部模型体积相似于一些原始的几何体，如椭圆体(Wren etal. 1997)，柱体(Vondrak et al. 2008; Knoopet al. 2009)，或截顶椎体(Deutscher and Reid 2005)，超二次曲面或超椭圆体(Kehl and Gool 2006)与这些含糊的表面形状相反，一些模型使用更明确的表面，比如多边形格网(Rosenhahn et al. 2006; Gall et al.2010)这可由目标的身体扫描派生而来，而且往往比他们含糊的副本更加逼真Plänkers and Fua (2001) and Horaud etal. ( 2008)使用了平滑模糊表面，相比混合几个原始几何体的外观提供了一定水平的现实性Anguelovet al. ( 2005)介绍了 SCAPE 模型(Balan and Black2008)，表面参数由几个人体目标不同姿势的 3D 激光扫描获得。

这样得到的表面网眼可根据身体尺寸和姿势变化，并能够精确的演示人体形状到达肌肉收缩的水平SCAPE 与内在 6 / 47的运动力学结构没有关联，尽管扩展性应用用来估计潜在骨架(Anguelov et al. 2004)这个模型惊人的现实性来自于增加计算成本，导致它几乎不可能用来完成跟踪任务第 3 节介绍的人体测量。