人体行为识别技术.docx

人体行为识别技术在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在 智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防,运动员辅助训 练等方面有巨大应用价值•行为识别问题一般遵从如下基本过程:数据图像预处 理，运动人体检测、运动特征提取、特征训练与分类、行为识别•着重从这几方 面逐一回顾了近年来人体行为识别的发展现状和常有方法并对当前该研究方向 上待解决的问题和未来趋势做了分析•行为理解可以简单地认为是时变数据的分 类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配通过对 大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表 征、行为识别、高层行为与场景理解等几个基本过程.特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础 上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态;行为识别 则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪 种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识， 识别复杂行为，实现对事件和场景的理解2】1、行为识别的应用从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域：① 智能监控这里所指的“智能〃包含两个方面的含义。

一种“智能〃是指系统能够在一定 的场景中检测是否有人的出现（如通过检测人脸的方法）防止只是简单的通过运 动目标检测所造成的错误报警（例如因为动物活动或者刮风摇动树枝等等而造成 误报）•另外一种“智能”是指系统能够监视一定场所中人的活动,并对其行为进 行分析和识别，跟踪可疑行为（如经常在重要地点徘徊等等行为）从而采取相应 的报警措施通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、 住宅小区等地，以实现对这些场所的智能监控.② 虚拟现实跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟 世界的交互该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面③ 高级用户接口指可以通过对用户手势的识别来代替传统的鼠标和键盘输入,从而实现人与 计算机之间的智能交互此外，通过对手势语言的理解，还可以进行聋人与计算 机之间的手语交流④ 运动分析人体运动分析可以运用于基于内容的视频检索领域例如可以检索在运动会 上单杠比赛中运动员的杠上动作这样可以节省用户大量的查询视频资料的时间 和精力•另外一种应用是用于各种体育项目中，提取运动员的各项技术参数（如 关节位置、角度和角速度,等等），通过分析这些信息，可以为运动员的训练提 供指导和建议，有助于提高运动员的训练水平。

此外，还可以用于体育舞蹈动作 的分析，以及临床矫形术的研究等领域⑤ 基于模型的视频编码通过提取一定的静态场景中人物的形态特征参数和3D姿态参数，以较低的 数据量对视频数据流加以描述，实现视频数据的压缩和低比特率传送•可以用于 在因特网上展开远程视频会议以及VOD （Video一On一Demand）视频点播.总之，人体运动跟踪的研究已涉及到计算机视觉、模式识别、视频图像处理 等方面的理论问题和实际应用问题，对人体这一带有关节旋转运动的非刚体目标 的跟踪与分析将会促进这些领域在理论上产生新的处理方法，并将对诸多应用领 域产生潜在的影响.2、行为识别研究难点行为识别发展至今，取得了很大的进展，在低层，中层和高层都取得了一定的 突破，但是行为识别算法并不成熟，目前不存在一个算法适合所有的行为分类， 3个视觉层次中都还有很多严峻的问题有待解决其研究的难点主要体现在以下 几个方面：1） 动作类内类间的变化太大对于大多数的动作，即使是同一动作都有不同的表现形式比如说走路，可 以在不同的背景环境中完成，走路的速度也可以从慢到快，走路的步长亦有长有 短•其它的动作也有类似的结果，特别是一些非周期的运动，比如过马路时候的 走路，这与平时周期性的走路步伐明显不同。

由此可见，动作的种类本身就很多, 再加上每一种类又有很多个变种，所以给行为识别的研究带来了不少麻烦2） 环境背景等影响环境问背景等因素的影响可谓是计算机视觉各个领域的最大难点主要有视 角的多样性，同样的动作从不同的视角来观察会得到不同的二维图像；人与人之 间，人与背景之间的相互遮挡也使计算机对动作的分类前期特征提取带来了困 难，目前解决多视觉和遮挡问题，有学者提出了多摄像机融合通过3维重建来处 理；另外其影响因素还包括动态变化和杂乱的背景，环境光照的变化，图像视频 的低分辨率等3） 时间变化的影响人体的行为离不开时间这个因素而我们拍摄的视频其存放格式有可能不 同，其播放速度有慢有快，这就导致了我们提出的系统需对视频的播放速率不敏 感4） 数据的获取和标注既然把行为识别问题当成一个分类问题，就需要大量的数据来训练分类模 型而这些数据是视频数据，每一个动作在视频中出现的位置和时间都不确定， 同时要考虑同一种动作的不同表现形式以及不同动作之间的区分度，即数据的多 样性和全面性这一收集过程的工作量不小，网上已经有一些公开的数据库供大 家用来实验，这将在本文的第3部分进行介绍另外，手动对视频数据标注非常困难。

当然，有学者也提出了一些自动标注 的方法，比如说利用网页图片搜索引擎，利用视频的字幕，以及利用电影描述的文 本进行匹配5）高层视觉的理解上面一提到，目前对行为识别的研究尚处在动作识别这一层其处理的行为 可以分为2类，一类是有限制类别的简单规则行为，比如说走、跑、挥手、弯腰、 跳等另一类是在具体的场景中特定的行为，如检测恐怖分子异常行为，丢包后 突然离开等在这种场景下对行为的描述有严格的限制，此时其描述一般采用了 运动或者轨迹•这2种行为识别的研究都还不算完善，遇到了不少问题，且离高 层的行为识别要求还相差很远•因此高层视觉的理解表示和识别是一个巨大的难 题.3人体行为分析研究一般的运动人体行为分析主要包括一下几个流程：1）数据库建立；2）运动人体检测;3）运动特征提取；4）行为理解与识别•在我们的运动人体行为分析研究中，重点研究运动 人体检测和运动特征提取如图1所示是运动行为分析研究的整体框架：數堀预址理->运勒特机提取11彳了为识别1r识别结果图13・1运动目标检测对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步，运动检测即为 从序列图像中将变化区域从背景图像中提取出来目前，已有的运动目标检测方法按照算法 的基本原理可以分为三类：帧间差分法、背景减除法和光流法。

三类方法各有其优缺点1）背景减除法背景减除法是预先选取不含前景运动目标的背景图像，然后将当前图像帧与背景图像 相减得到前景目标最常用且有效的是背景减除法此类算法的缺点是由于通常需要缓冲若干帧来学习背景，因此往往需要消耗大量的内 存，这使其使用范围受到了限制此外，对于大范围的背景扰动，此类算法的检测效果也不理想Stauffer和Grimson提出的高斯混合模型是使用最为广泛的背景建模方法.高斯混合 模型通过多个高斯分布对背景建模，每个分布对应一种背景像素的模态从而能够适应像素 层面上的背景扰动问题，并能通过对背景的不断更新，使系统能对背景的变化自适应但是, 高斯混合模型对于全局光照变化、阴影非常敏感，对于缓慢的运动目标检测效果也不理想2) 帧间差分法帧间差分法的主要思想就是利用视频图像序列中连续两帧或三顿的差异来检测发生运 动的区域Lip ton等人提出的用于实时视频流中运动冃标检测的算法就是顿间差分的方法 [Lipton98]顿间差分法的特点是动态性强，能够适应动态背景下的运动目标检测但是, 这类算法检测出的目标轮廓非常不理想，在目标内部会留有许多空洞，在目标运动较快时目 标的轮廓会被扩大，在目标运动较慢时甚至有可能无法得到目标的边界。

3) 基于光流的运动目标检测算法基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量，从而 发现运动的像素点，并且能够对这些像素点进行跟踪•在摄像机运动、背景变化时，光流法也 能检测出运动目标，并且它能同时完成运动目标检测和跟踪，但是该方法的计算复杂度高， 在没有专用硬件支持的情况下很难做到实时检测，同时，光流场的计算非常容易受到噪声、光 照变化和背景扰动的影响采用光流场计算的方法也很难将运动目标的轮廓完整地提取出 来32 运动目标分类目标分类是指从运动目标检测到的前景运动区域中提取感兴趣目标区域.复杂场景小检 测到的前景区域可能包含不同种类的目标，如行人、车辆、飞鸟、刘云、摇动的树枝等，在 人体运动分析系统中，只对运动人体感兴趣，因此需要对运动目标的类型进行分析识别，提 取人体目标目前常用的目标分类方法有如图2:根据运动区域的形状特征进行分类使用简单的人体轮廓模式的 形状参数检测运动人体这两类目标分类方法 也可结合使用，以得 到更准确的分类结果基于形状信息的分类提取区域的分散度、面积、宽高比等特征，采用三层神经网络将前景目标分类为人、人群、车辆和背景干扰分散度和面积信息区分人、车 辆及混乱扰动目标分类“根据人体运动的周期性特性，采用4 时频分析法判断运动轨迹是否存在＞基于运动信 息的分类周期性，从而识别出运动人体利用人体运动的周期性进行分类4 通过计算运动区域的残余光流来分析运动目标的刚性和周期性与刚性车辆的运动相比，非刚性的人体运动具有较高的平均残余光流并且人体运动呈现周期性，因此可将人体区分出来图23.3 运动目标跟踪依据运动目标的表达和相似性度量，运动目标跟踪算法可以分为四类：基于主动轮廓 的跟踪、基于特征的跟踪、基于区域的跟踪和基于模型的跟踪.跟踪算法的精度和鲁棒性 很大程度上取决于对运动目标的表达和相似性度量的定义，跟踪算法的实时性取决于匹配 搜索策略和滤波预测算法.1） 基于主动轮廓的跟踪Kass等人提出的主动轮廓模型，即Snake模型，是在图像域内定义的可变形曲线，通 过对其能量函数的最小化，动态轮廓逐步调整自身形状与目标轮廓相一致，该可变形曲线 又称为Snake曲线.Snake技术可以处理任意形状物体的任意形变，首先将分割得到的物体 边界作为跟踪的初始模板，然后确定表征物体真实边界的目标函数，并通过降低目标函数 值，使初始轮廓逐渐向物体的真实边界移动•基于主动轮廓跟踪的优点是不但考虑来自图像的灰度 信息，而且考虑整体轮廓的几何信息，增强了跟踪的可靠性.由于跟踪过程实际上是解的寻优过程，带来的计算量比较大，而且由于Snake模型的 盲目性，对于快速运动的物体或者形变较大的情况，跟踪效果不够理想2）基于特征的跟踪 基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征来 进行跟踪•假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认为跟踪 上了运动目标。

除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合在一起作为 跟踪特征2） 基于特征的跟踪基于特征的跟踪主要包括特征提取和特征匹配两个方面1）特征提取，特征提取是 指从景物的原始图像中提取图像的描绘特征，理想的图像特征应具备的特点是a）特征应具 有直观意义，符合人们的视觉特性；b）特征应具备较好的分类能力，能够区分不同的图像 内容；c）特征计算应该相对简单，以便于快速识别；d）特征应具备图像平移、旋转、尺 度变化等不变性目标跟踪中常用的运动目标的特征主要包括颜色、纹理、边缘、块特征、 光流特征、周长、面积、质心、角点等提取对尺度伸缩、形变和亮度变化不敏感的 有效特征至今仍是图像处理研。