基于单目手势识别交互系统-毕业(论文)设计论文.doc

本科毕业设计（论文） 基于单目手势识别交互系统的设计与实现学 院 机电工程学院  专 业 数字媒体技术  基于单目手势识别交互系统的设计与实现 李林钢 机电工程学院摘 要随着计算机技术的逐渐发展，出现了一些符合人的习惯的人机交互技术其中，手势的检测和识别技术作为一种有着自然性、简洁性和直接性的一种新型的交互方式，是这些交互技术当中倍受重视的研究和应用的技术之一近几年来，已经有相当一部分的应用采用了这种手势识别的方式作为跟机器交互的手段，受到了世界各个国家的科研机构和科技企业的重视与青睐基于计算机视觉的手势识别需要解决一系列的问题首先是要做到的是从背景中将手分割出来；然后将有用的信息与冗余的信息分离开来，并将相关的手势信息提取出来；最后从相同的手势中根据实际情况，解读出它的特定的含义针对这些问题，本文讨论里一种采用基于单目的特定颜色模型的背景分离方法和基于关键信息的手势提取方法，用Visual C++ 2010和OpenCV进行开发，实现在多种摄像头下的手势识别交互系统，主要包括以下方面：（1）针对不同摄像头画质的缺陷，采用中值滤波或均值滤波然后还原细节的方法实现图像较好的降噪，再用不同采样半径的USM锐化的方式实现图像信息的强化。

2）根据人手和背景色相等方面的差异，采用亮度+两个颜色通道的色彩模型进行色彩分离，并将未选择到的阴影和高光等区域利用连续色的原理进行进一步的选取3）根据选取结果有很多干扰区域的情况，实现最大面积连通区域的提取算法，以排除关键信息提取时的干扰4）根据手的区域的情况和交互的自然性，采用稳定的手的重心作为手的位置，利用近大远小的关系，采用手占摄像头面积的大小判断手离摄像头的距离5）针对以上识别的结果，实现了一些常见的人机交互应用，包括屏幕画图器、鼠标模拟器等关键词：手势识别；Visual C++；背景消除；连通区域；关键信息提取AbstractWith the development of computer technology, some human-computer interaction techniques which meet people's habits appear. Among them, gesture detection and recognition technology, as a new natural, simple and direct technology, is highly valued. In recent years, there have been considerable part of the application using this gesture recognition approach as a means of an interaction with the machine, and it draws attention of and was favored by the scientific research and technology enterprises of various countries.Computer vision-based gesture recognition needs to solve a series of problems. The first is is how to split the hand from the background; then separate the useful information and redundant one, and extract the relevant information gesture; finally, decipher the specific meaning of the same gesture in accordance with the actual situation. To solve these problems, this paper discusses a gesture recognition interactive system with a kind of background separation methods based on specific color model, and a kind of gesture extraction method on key information, developed by Visual C + + 2010 and OpenCV, fits a variety of camera, which includes the following aspects:(1) For different quality defects among cameras, this system uses median filter or mean filter and restores the detail method to reduce the image noise conservatively. Then use different sampling radius of USM sharpening to enhance the image information.(2) According to the difference of colors between background and hands, this system uses the brightness and the two color channels as a color model for color separation. The not chosen distinct, such as the shadow and highlight areas will be further selected using a continuous color method.(3) According to the results there are a lot of interfering regions of selected areas. The system achieves the maximum connected area region extraction algorithm, which excludes the interference of the key information extraction.(4) According to the hand region of the case and for the naturalist interactive, the system uses the stable point -- gravity center of the hand as the hand position, and uses the size of the hand to know the distance from the area with the near-far smaller principle.(5) According to the results above, the system achieves some common interactive applications, including screen drawing control, mouse simulator, etc.Key words: Gesture Recognition; Visual C++; Background Removal; Connected Region; Key Information Extraction目 录1 绪论 11.1 手势识别交互的背景 11.2 手势及识别方式的分类 21.3 基于计算机视觉的手势识别技术需要解决的问题 21.4 本程序主要实现的功能 32 摄像头信息的采集和预处理 52.1 OpenCV关于摄像头操作的API 52.2 在控件中呈现有关摄像头的图像 62.2.1 HDC的获取 62.2.2 将IplImage*位图渲染到控件当中 62.3 摄像头图像的预处理 72.3.1 图片的缩放 72.3.2 图片的降噪 82.3.3 图片的锐化 113 手的区域的提取 133.1 肤色种子的获取 133.1.1 获取鼠标相对图像位置的颜色 133.1.2 自定义肤色种子 143.2 基于手与背景在一定颜色模型上的区别的初步提取 143.3 将手的范围扩展到其他区域 153.4 外部孤立点的消去 163.4.1 获取连通区域的面积和标记区域ID 183.4.2 最大面积和对应区域的获取 193.5 内部孤立点的修补 194 手的关键点的提取 214.1 手的重心和面积的确定 214.2 手的边缘的提取 215 程序主体代码的实现 235.1 工程的环境和架构 235.2 主类成员变量的定义 245.3 程序的初始化代码 245.4 从输入控件中获得识别参数 265.5 总体识别语句的实现 286 应用设计 306.1 屏幕画图的设计 306.1.1 获取CWindowDC 306.1.2 定义和设置笔刷 306.1.3 绘图语句 306.2 模拟鼠标功能的实现 316.2.1 手的有效偏移量的获取 326.2.2 鼠标点击功能的实现 327 手势识别的综合测试 34结论 36总结 36展望与改进 36参考文献 38致谢 39 1 绪论1.1 手势识别交互的背景随着整个社会逐步的信息化，带给了我们一种新的交互方式——人机交互(human-computer interaction)。

而这一交互活动越来越成为人们日常生活的一个重。