基于MEMS传感器的战术手语语音翻译数据手套系统2.docx

基于MEMS传感器的战术手语语音翻译数据手套系统一、意义、研究现状述评和研究价值（一） 本课题选题意义战术手语指特种兵在实战小由于所处的环境特殊，相互间的沟通往往依靠的是无声语言: 战术手语战术手语，是通过特定的手形、手势、形体动作和而部表情，传递特定信息指挥 行动，可由各部队自行制定特种部队手语最早是由著名反恐部队-德国第九国防军边境 部队（GSG—9）创造的，现在，这些战斗语言己被包括中国在内的世界各国特种部队广 泛采用随着军事手语的逐步修改完善，从前只有少数特种分队使用的军事手语，由于军事手 语的动作简洁明了，止被我军广大步兵部队所使用作为随时随地都有可能与犯罪分子打遭遇战的警察，熟练掌握手语的含义并能运用自 如，能最大限度地减少不必耍的伤亡目前很多地方公安机关的特警队己经把手语列入训练 科目，作为一项必备的基本技能，并已收到明显的实战效果但是现有手语交流也存在不足：受讯者必须持续注视手语发出者，而无法时刻监视危险 方向，会分散较大的注意力；距离远、夜间、有遮挡物时无法看清对方的手语导致手语通信 失效；战术手语动作简洁明了，动作幅度较大因此被敌方识别的可能性也较大，隐秘性不够; 同时战术手语肢体动作幅度较大，需要花费较长的时间，通信效率不高；肢体语言的表现能 力和识别能力毕竟不如声音语言。

如果将传感器植入到手套中，通过提取手指的运动参数，并识别其中包含的战术指令, 用无线信号将战术指令发送给受讯者，再通过TTS语音引擎将战术指令翻译为相应的语音, 最后受讯者通过耳机听对方发出的战术指令用此方法可以使监视危险区域及与同伴通讯并 行；无线信号不受白天黑夜影响，传播距离远，能穿过遮挡物的遮挡，大大提高通讯的范围; 因为手套能直接从手指的运动参数识别出战术指令，动作幅度较小，进一步增加了隐蔽性, 同时节省体力；同时可以大大提高通讯的效率，同时能表达更加丰富复杂的指令据此本课题硏究《战术手语语咅翻译手套系统》将传统战术手语的优势和现代科技的结 合进一步捉高传统战术手语的通讯效率，隐蔽性，使用范围对于最大化的提高任务执行的 效率，提高武警的生存率具有重要意义二） 本课题研究现状本课题的关键技术是战术手语的识别(手势识别)手势识别是指利用计算机來检测、 分析和解释人所执行的手势动作，从而用于判断动作意图并提供相应的服务，涉及到信号处 理、模式识别、传感器技术、康复工程、运动医学等多个学科领域(MMa&Acharya,2007)o 随着现代信息科技的飞速发展和人们生活水平的不断提高，利用手势识别技术将手势动作识 别结果用于操控高科技电子设备或辅助传递运动、医学等信息成为人机交互和康复工程等领 域的研究热点：手势动作是一种自然的信息传递方式，可用于正常人和计算机之间的信息交互 (Humaa-Coinputer Interaction,HCI)O由于手势交互的便捷、可移动和适用于双手无法空闲的 交互场合的优势，近年来收到了广受关注(Moeslund&Granum,200l: Ong&Ranganath, 2005； 任海兵，2003) = 2003年，Cybernet公司研制的GestureStorm系统被用于美国佛罗里达州的 嘲G电视台，天气预报员在播报天气的时候只用轻微的拨动手，就可以产生出配合播报的 特殊视频效果(Geer, 2004)。

微软公司的 Kinect(h.ttp： //zh.wikipedia.org/wiki/Ymeet)利用摄 像头等多类传感器，实现对手势动作和姿态的即时动态捕捉并用于实时交互2013年，Leap 体感控制器制造公司推出手势跟踪器Leap Motion (https： //developer. I),利用 其对手势动作可以达到精度为0.01mm的精确跟踪，能在显示器上非常精确的反映出执行者 手势的细微变化加拿大halmie Labs公司于2013年研发出手势控制腕带 MYO(http:〃zh.wikipedia.oi・g/zh/MY0),该腕带通过肌电传感器和六轴探测器瞬间测量被佩戴 的手臂肌肉活动状态，其转换成操作命令可用于识别20种手势，同时也可以用蓝牙传输给 其他电子设备用于交互控制国内小科院计算所高文等(2000)通过数据手套捕获聋哑人执行 的手势动作信息，在计算机上实现了对5177个中国手语孤立词的自动翻译Mohandes et a 1.(2007)基于颜色手套成功识别了 300个阿拉伯聋哑人手语词为了利用计算机识别种类繁多的人体手势动作，需耍首先通过一定的感知技术获取手势动 作的手形、位置、方向和手臂运动等信息。

由于手势动作的识别属于动态模式识别，难度比 较大，因此需要有针对性的找到合适的信息捕获方式，主流的有基于计算机视觉和基于运动 测量动作感知的两种动作感知方r(Mitra &Acharya,2007)基于计算机视觉的动作感知方法利用摄像头等成像设备采集手势动作的视频图像信息，可以获取相当于人眼的信息量，并且用户可以无需佩戴任何采集设备自由的运动(Pavlovic etal., 19971 Jaimes&Sebe 2005, 20071 Zeng etal., 2009),因此在手势动作识别领域得到了成功的应用c德国亚深工大的Grobel&Assail(l997)利用连续视频图像识别戴上颜色手套执行的262个孤立手语词，达到了 91.3%的识别率Stamer et al(1998)和Shanablch ct第2页a 1.(2007)分别实现了基于视觉的美国手语和阿拉伯手语识别张良国和高文等(2006)成功识 别了 439个中国手语孤立词，正确率为92.5%奥尔堡大学计算机视觉和多媒体技术实验室 利用SwissRanger的SR4000相机捕获的3D数据，通过对一个视角进行训练，即可实现多 角度测试94.4%的识别准确$(H01te et al., 2010)。

基于计算机视觉的感知方法缺点在于： 由第三方视角捕获图像信息，使用时局限性较大，图像容易受到采集时背景、光照等环境因 素的影响，摄像头帧率及架设位置要求较高，手势动作分割也是一个难点(Mitra&Acharya, 2007,任海兵,2003) o基于运动测量的手势动作感知方式通过在上肢和手臂安放各类传感器，如加速计、陀螺 仪、磁力计、角速度计、数据手套以及位置跟踪器等，测量手势动作执行过程中产生的位移、 角度、加速度等物理量的变化该检测技术将测暈的传感器和用户合为一体，使得信号捕获 的过程非常的口由c其中加速计传感器能够检测到运动时的加速Acceleration, ACC),因 其灵敏的运动变化感应和便携性以及低廉的价格，得到了很多研究者的关注，成为一个重要 的动作捕获方式芬兰VTT硏究中心利用微小加速计手持设备识别手势(Miintyjarvi, 2005)Pylvan S inen(2005)以一个三轴加速计为输入设备实现了 10个手势动作96.76%的识别率Cho et al.(2007)利用一个三轴加速计识别12种多媒体命令手势，在特定的多媒体交互应用达到了 99%的识别率奥登堡大学使用Wti-eontroller加速度传感器进行手势识别，利用少量的训 练样本即可将用户手势用于人机交互操作(SchlOmer et al., 2008)。

莱斯大学利用三轴加速 传感器，每个手势模板仅需要一个训练样本，可达到98.6%的手势识别率，并被应用到用户 验证和3D移动用户界而(Liuetal., 2009)加速计的特点是可利用运动加速度和重力加速度 在各轴上的投影来捕获大尺度动作的空间变化过程，但是对于精细的小幅度动作描述却不是 很精确另一类典型的运动测量传感器为数据手套，其通过捕获手的位置、方向和手指弯曲等信 息来反映手的空间运动轨迹、姿态和时序信息，因为信息丰富而具有较好的识别效果使用 数据手套的手语动作识别有着较多的研究报道，代表性的有美国手语(Fels&Hinton, 1993). 台湾手语(Liang&Ouhyotmg, 1995).韩国手语(Kim, 1996)和澳大利亚手语(Kadous, 1996) 国内中科院计算所利用数据手套实现了对连续中国手语句子的识別(3E春立，2003； Fang etal., 2004)虽然使用数据手套进行的手势识别效果较好，但其成本昂贵且佩戴笨重, 难以普及使用，不利于便携、自由、普适的手势动作识别交互的发展和应用综上所述，为了捕获用于描述手势动作的信息从而进行动作识别，可采用不同的感知技 术从不同角度获取手势动作信息，以实现对动作的分类识别。

而战术手语识别相对普通手语 识别有其独特的要求词汇量相对较少，战术手语共有48个词汇，因此手语识別重点在准 确性上而不是多样性；信息传递要及时，这需要手语识别速度快，在硬件上采用较快的处理 器，在算法上尽可能减少时间复杂度；佩戴稳定，经久耐用，可靠性高，为了适应战争或反 恐环境，确保沟通顺畅稳定，手套的可靠性是手套具有实用价值的关键三）本课题研究价值战术手语是保护民警，避免失误，减少损失的有效途径由于手语的使用，杜绝了警 员在作战中，用语言表达战术思想，传递行动方案时容易暴露目标和行动企图的聲端，使我 们的行动更加隐蔽，警员间交流更加方便，快捷，更加有效地保护了参战民警，减少了伤 亡，使我们的战术效果更加理想在科技文化高速发展的今天要与同样高速发展的违法犯罪 活动作斗争，不能光靠沿袭照搬已有的战术手段需要通过科技创新将现代科技补充到已有 的战术中去，才能使我们的战术更加完善，才能提高捕获犯罪分子及犯罪嫌疑人的能力和 成功率《战术手语语音翻译手套系统》能将传统的战术手语识别翻译为相应的语音，可以使监 视危险区域及与同伴通讯并行；无线信号不受白天黑夜影响，传播距离远，能穿过遮挡物的 遮挡，大大提高通讯的范围；因为手套能直接从手指的运动参数识别出战术指令，动作幅度 较小，进一步增加了隐蔽性，同时节省体力；同时可以大大提髙通讯的效率，同时能表达更 加丰富复杂的指令。

据此本课题研究《战术手语语音翻译手套系统》将传统战术手语的优势和现代科技的结 合进一步提高传统战术手语的通讯效率，隐蔽性，使用范围对于最大化的提高任务执行的 效率，提高武警的生存率具有重要意义本课题除了增强了无声语言交流的效力，课题中所涉及的传感技术、模式识别技术、无 线通信技术在其他武器装备的应用也很有价值为升级、研发其他武器装备奠定良好的技术 基础二、本课题的研究目标、研究内容、创新之处（一） 本课题的研究目标本课题的研究目标是研发出一种基于MEMS传感器的战术手语语音翻译手套系统，在传统战术手语的基础上进一步提高特警、武警无声语言的沟通效率，实用范围二） 本课题的研究内容基于MEMS传感器的战术手语语咅翻译手套系统主要包括：MEMS六轴惯性传感器手指姿态检测模块、无线通信模块、嵌入式主控系统.无线耳机模块、电源模块无线通信模块电源模块MEMS惯性伎 感器手指姿 态检测模块无线耳机模块嵌入式主控系统外部一f 电源一＞基于MEHS 传感器的 战术手语 语音翻译 手套系统主要研究的内容有1） 基于MEMS六轴惯性传感器手指姿态检测研究A. 应用卡曼滤波消除MEMS六轴惯性传感器返回数据噪声，避免噪声T扰导致误判；B. 建立左手空间模型，通过MEMS六轴惯性传感器检查出手指的姿态。

2） 手指姿态所表达的战术手语实时识别算法研究A. 对战术手语进行适应性重新编码建立手语词典，使得战术手语既便于使用又便于识别，同时进一步丰富手语词汇库B. 采用隐马尔科夫模型（Hidden Markov Model, HMM）进行手语识别。