电气工程前沿科技总结报告
电气工程前沿科技总结报告姓名： 学号： 专业：硕士早/博士（划W）成绩：一、调研报告（50分）基于动作捕捉的牵引供电设备虚拟交互技术研究1研究的背景和意义目前，随着三维虚拟显示技术的发展，牵引供电所对人员的培训不再仅仅局限于传 统鼠标键盘的人机交互，而是希望可以实现手势交互，沉浸式般的进行培训。虚拟现实在 2015年已被炒到风口，各大互联网公司纷纷布局虚拟现实，更多的人认为2016年是虚拟 现实元年，所以开发一套牵引供电设备虚拟交互系统无论是在牵引供电培训本身的需求 上还是时代潮流的驱赶下，都是非常有必要的。跟踪和制作人体运动动画是计算机图形学和计算机视觉的一个基本问题。一个特别 重要的问题是如何准确地重建人手的形状和清晰度。手部运动是非言语交流的重要组成 部分，扮演人形替身动画的重要作用，是众多的人机界面中心。微软在2011年发布了 Xbox 360轰动业界，随后Intel和微软又发布了 Creative Senze3D和Kinect二代。这两款 产品在精度上都做了很大的改进，为手势跟踪奠定了硬件基础。牵引变电所是牵引供电系统的重要组成部分，对于保证接触网和机车的安全稳定运 行起到重要作用。正常运行中的牵引变电所设备操作需要严格的执行相关的流程和作业 标准，而且由于牵引负荷的特殊性，牵引变电所的日常工作也比较复杂，对操作人员的技 能水平要求较高。随着牵引变电所设备的种类与数量的增多，传统的培训方法目前具有越 来越多的局限性。随着三维虚拟显示技术的发展，目前牵引供电系统已逐步出现了基于三 维虚拟场景的牵引变电所工作人员业务培训系统。但由于人机交互技术的限制，培训人员 还是实用传统的鼠标键盘进行操作，直观性不强，交互能力有限。因此，研发一套适合于 牵引供电系统的虚拟人机动作捕捉交互系统势在必行。2国内外研究现状手势捕捉在人机交互领域一直受到关注和研究，但是由于人手的高度铰接以及人手 的高度自由度和复杂的手指动作，人手捕捉依然是具有很大的挑战性的课题。精确的实时人体跟踪和人脸跟踪系统近来已经提出。作为实现对桌面环境的在线人 际沟通的完整体系下一个自然的一步，手势跟踪在研究团体中获得巨大牵引力。虚拟环境 互动系统的最新行业趋势已经导致用于RGBD（彩色数据和深度数据）数据的处理（闭源） 软件包开发，如英特尔RealSense SDK和微软的Kinect二代或专门设计的硬件，如Leap Motion 和 Nimble sensors。手势跟踪在近几年来获得较大的进步，但是仍然有很大的局限性。文献1提出了一种基 于PSO算法的实时手势捕捉系统，但是捕捉鲁棒性差，不能从失败中迅速恢复。文献2 是微软研究院提出的基于单一深度相机实时手势跟踪系统，该系统能准确重建多种复杂 手姿势，可以迅速从捕捉失败中恢复，但是仅仅局限于单手。文献3提出了基于结合ICP 和PSO算法的球形实时手势跟踪系统，但系统没有采用GPU加速，捕捉速度较慢，而且限 于单手捕捉。文献4提出了基于铰接式ICP算法的实时手势跟踪系统，并且开源了系统 代码，系统的捕捉速度很快，采用7GPU加速，并且可以快速从捕捉失败中快速恢复，但 是要带一块蓝色的护腕在手上，不是裸手操作。文献5在同时考虑边、光流和碰撞的基 础上引入微目标函数，可以实现双手的捕捉，一只手不会对另一只手的捕捉造成影响，但 是每秒的帧数比较慢同时受限于缓慢的局部优化，不能实现实时系统。文献6在给定人 手的同步序列，可以恢复其三维位置，方向和全关节运动参数，所采用的手模型是基于适 当选择并组装的三维几何图元，但是需要一个具有高速并行运算能力 GPU（Graphic ProcessingUnit）对目标函数进行加速，而且这些优化的方式都是完全局部的，不能从跟 踪失败中自动恢复。一些全局搜索的方法7通过搜索一个庞大的参数空间来避免陷入局 部最优，但是由于搜索空间过大往往导致搜索结果缓慢且不准确。文献8提出一种基于 区域生长与Mean shift算法相结合的动态变形手势跟踪算法，但捕捉有时不准确。文献 9利用随机决策森林（RDF）基于手型对手型进行分类，能够实时跟踪但是只可以识别特 殊的手势，使用范围狭小。基于外观的手势跟踪。在过去的几年中，许多基于外观的方法已被开发用于手势跟踪。但是基于最邻近搜 索，决策树木，或卷积网络已经证明基于外观的方法可成功用于实时手势跟踪的。这些方 法的优点是推断手势的能力从一个单一的帧的姿态，而无需依赖于时间相干性，从而避免 了漂移。然而，这样的基于外观方法紧密连接到训练数据，常常不能概括好以前看不到的 手的姿势，也就是那些不包含在训练数据库中姿势。出于这个原因，大多数这些方法假设 一个单一的的手在隔离的区域，以避免数据爆炸。而且往往不能达到的基于模型的方法的 准确性。(b)基于模型的手势跟踪一种流行的方式来手部动作捕捉是使用基于标记的系统(Vicon, OptiTrack)。一个三维 的手模型可以被拟合到跟踪标记，以获得最终的手姿势。标记物的一小部分已被证明足以 用于重构三维的手姿势通过逆运动学技术。然而，由于标记的频繁遮挡，使用基于标记的 系统获得的运动序列经常需要一个大量人工清扫。为了克服这个问题，文献5提出给一 个基于标记的系统补充RGBD数据，以捕获手的移动，即使在显著自遮挡的情况下。近日， 精确的基于模型的跟踪已在多个摄像头设置实现，其中多个有利位置帮助解决具有挑战 性的遮挡。多个摄像机的系统也已成功地用于准确的手手和手对象交互建模。所有上述方 法都需要一个复杂的采集设定和手动校准，这使得它们不太适合的那种主要针对消费类 级应用程序，这正是本文的工作。粒子群优化(PSO)的方法实现互动(15 fps)的具有 一个单一的RGBD相机跟踪。PSO技术也被成功地应用于两只手之间具有挑战性的互动模 式以4 fps的速率降低为代价。粒子群是一个不使用所考虑的优化问题的梯度信息进行 优化的而是使用采样的启发式策略。为此粒子群算法的准确度和效率在很大程度上依赖 于所用的样本数。Oikonomidis等的1 引入了一个提高跟踪的效率但不影响质量的更先 进的抽样策略。然而，基于梯度的优化方法比PSO收敛更快，更准确地，当接近解的时 候，并且因此非常适合于实时应用。为了稳健性，而不是诉诸于重新初始化，可以制定可 能手姿势的子空间的优化。因为较少的优化变量的个数导致有效的计算，所以跟踪精度可 以通过将减小子空间导致的姿态的复杂性而得到限制。3关键技术及发展趋势虚拟交互的系统关键技术在于手势捕捉。准确的捕捉到手的姿态成为关键问题。上述提到的文献或者需要数据手套或者采用特定的标记或者使用多台摄像机，均是 因为手势捕捉的复杂性造成的。需要在特定的情况下才可以做到实时跟踪和精确捕捉。跟踪算法主要可以分为两类：即基于外观的方法、基于模型的方法。基于外观的方 法训练分类器或回归矩阵为映射图像特征到手姿势。因此，虽然这些系统能够稳健地判断 一只手姿态从一个单一的帧，但是基于外观方法是在只需要一个粗略的估计姿态或判别 的特征可以明显提取情况下优化。相反地，基于模型的技术逼近跟踪作为对准优化，其中 该目标函数典型地测量从模型合成的数据和数据由传感器观测之间的差异。而基于模型 的方法可能遭受丢失跟踪的影响，正规化先验概率可被用来推断出高品质的跟踪即使当 传感器数据是不完整的或损坏的。使用非侵入性检测设备实现准确的实时手势跟踪是一个具有挑战性的科学问题。人 的手是高度铰接的，因此需要有足够多的自由度的模型来充分地描述其相应的运动空间。 由于手指间的复杂联系的模式，手的运动往往快并且表现出错综复杂几何结构。通过单相 机RGB D设置，都面临着不完整的数据由于自遮挡和高水平的噪音。目前，在硬件方面，各大公司生产出的深度相机的质量不一，Kinect二代虽然比一 代做了很多的改进，但是提取出的深度图依然噪声很大，这样在数据源头上就为算法带去 了一定的干扰。Intel的Creative Senze3D能够清晰的提取出深度轮廓，但是低质量的 深度测量，导致点云有严重的噪声。算法基于一个实时注册过程，它能够准确重建手势通过拟合三维铰接手模型到深度 图像。该算法使用深度、轮廓和时间上的信息登记手板模型。为了有效地映射低质量的深 度图到现实手的姿势，利用运动学和时域上的先验值正规化注册过程以及采用一个事先 建立的来自现实的手姿势的数据库的数据驱动。文献4提出一个将先验概率集成到算法 的注册优化，能够提供可靠的跟踪，而不严格限制运动自由度的原则性方法。单相机的深度采集产量数据不完整，因此姿势重建问题本质上是病态的。当没有足够 的数据因遮挡或快速运动取得如以上解释的跟踪误差可能在某些情况下会发生。同样，在 传感器极限分辨率限制了跟踪精度。当几何特征变得不加区别，上述的注册方法失败。集 成颜色和底纹的信息可能会解决这个问题。关于手势跟踪，随着深度学习的发展，应该会出现基于深度学习的学习的手势跟踪系 统。微软在holens中使用的手势跟踪系统采用了卷积神经网络（CNN）识别手势，在结合 Kinect二代的深度信息对手势建模，但是CNN只是对二维图片进行处理。但是也可以将 卷积神经网络的思想应该用到三维点云手势识别上，此种方法需要提前标定点云，但是可 以实现端对端的训练，同时可以提高准确度。手势交互式下一代人机交互方式，这一点已经无可否认，是增强现实(AR)的优选交 互方式。在铁路上，牵引变电所的虚拟化是必然趋势。4参考文献1 Oikonomidis, I., Kyriazis, N., and Argyros, A. Efficient model-based 3D tracking of hand articulations using Kinect. In Proc. BMVC (2011), 1 - 11.2 Toby Sharpy,Cem Keskiny,Duncan Robertsony,Jonathan Taylory,Jamie Shottony,David Kim,Christoph Rhemann,Ido Leichter,Alon Vinnikov,Yichen Wei,Daniel Freedman,Pushmeet Kohli,Eyal Krupka,Andrew Fitzgibbon,Shahram Izadi.Accurate, Robust, and Flexible Realtime Hand Tracking.CHI ,15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems:3633-36423 孙骁.基于深度图像的实时鲁棒手势跟踪研究.华南理工大学,20144 Andrea Tagliasacchi,Matthias Schroder, Anastasia Tkach, Sofien Bouaziz, Mario Botsch, Mark Pauly.Robust Articulated-ICP for Real-Time Hand Tracking.Eurographics Symposium on Geometry Processing 2015.2015,34(5):1-25 L.Ballan, A.Taneja, J.Gall, L.V.Gool, and M.Pollefeys. Motion capture of hands in action using discriminative salient points. In ECCV,2012.6 I.Oikonomidis, N.Kyriazis, and A.A.Argyros. Markerless and
