kinect传感器及其相关应用.ppt

Kinect传感器及其应用传感器及其应用宋攀婷3113037013Kinect结构结构Kinect是微软公司研制的一款体感外设，实际上是一种3D体感摄影机该设备共有3个摄像头，中间是RGB彩色摄像头，左右两边分别为红外投影机（红外线发射器）和红外摄像头（CMOS红外感应设备）,用于深度探测Kinect搭配了追焦技术，底座马达会随着对焦物体移动而转动同时Kinect还内置麦克风阵列，用于语音识别 Kinect深度图像产生原理深度图像产生原理nKinect采用光编码技术，可以直接获取物体和摄像头之间的距离基本思想是通过连续光（近红外线）对测量空间进行编码，再进过CMOS感应器得到编码的光线，将数据传递给晶片（ps1080系统级芯片SoC）进行运算解码，产生一张具有深度的图像n核心一：结构光技术，激光散斑n核心二：光源标定，参考平面，相关运算Kinect三角投影法的基本原理三角投影法的基本原理Kinect用于检测和识别手势用于检测和识别手势①①肤色分割找到肤色分割找到 手的位置手的位置L*a*b颜色空间，b(2￿￿3)1）RGB图像→￿L*a*b颜色空间2）b=2,b=3时转换图像的两个切片3）切片图像转换成二值图像4）两幅二值图像进行”和“￿操作A:手分割手分割A1：RGB图像A2：深度图像A3：b=2A4：b=3A5：和操作后的肤色图像A6：手分割二值图像②②通过通过K K均值聚类分离手均值聚类分离手如果两只手距离传感器有相同距离，二值图像仅会显示一支手，K=2代表人只有两只手③③找到手掌中心找到手掌中心 手掌比较宽大，可以近似为一个圆，两种选择：最小外接圆和最大内切圆（最佳），最大内切圆的中心近似为手掌中心。

B:手指识别手指识别①找到凸包：用Graham扫描算法②检测指尖和手指方向方向矢量和等腰三角形中顶角的二等分线平行设置最大阈值AGrahamGraham扫描算法寻找凸包扫描算法寻找凸包n首先找到点集P中y坐标最小的点，如果y坐标相等，找出x坐标最小的点p0n以这个点p0为基准，将其他点与之相连，夹角由小到大进行排序，依次为p1,p2…p12C:手势呈现手势呈现①手掌中心位置②手指数目③指尖位置④手指方向矢量手势识别应用手势识别应用 ①剪刀-石头-布游戏 ②手势拖动屏幕图像：手掌中心决定拖动位置 ③皮影戏优点优点 ①基于廉价深度传感器Kinect ②不需要任何辅助工具，数据库和机器学习过程 ③检测出手掌和指尖位置及手指方向，获得更复杂的手势信息 ④实验证明能检测大部分手势，手水平放置或垂直放置 ⑤当手掌朝向传感器打开时，检测率达到95% 缺点缺点：①手掌未朝向传感器打开时，深度图像中手掌的投影区特别小，不能检测到手的 位置 计划方案：使用多个传感器，从多个方向来检 测手势 ②不能很好地区分手部和肘部 ③手位于身体后方时，不能检测手势改进改进：利用Kinect提供的骨骼图像，基于深度图像和骨骼图像的一种手势识别算法 基于深度图像和骨骼图像来实现动态基于深度图像和骨骼图像来实现动态手势识别手势识别 两步：a:对手的部位进行追踪，即在视频流中每一帧中准确 找到手的位置;b:识别不同的手部动态动作。

优点优点：实时动态手势识别 对手的位置没有限制 不受照明影响手位于前方身体位于前方动态手势识别的应用动态手势识别的应用n在远程操控中，通过手来控制汽车的前进与后退；在讲解PPT时，通过手来控制PPT翻页；在播放音乐时，通过手的深度变化来控制音量大小；n医学方面：手术过程中模拟鼠标的各种功能，无需与终端设备接触，方便医生对患者影像资料的查阅n尸体解剖。