第七章人体关键点检测 实验姿态识别互动机器人.

,计算机视觉原理与实践 第七章 人体关键点检测,人体关键点检测的数据集： 1. MPII 数据集 2. Microsoft COCO 数据集,实验 姿态识别互动机器人,0 4,实验目的 实验背景 实验原理 实验步骤 实验总结,1. 熟悉OpenPose的原理和运用 2. 熟悉基于OpenPose代码库进行人体姿态识别 3. 掌握tf-pose模型的操作流程，包括数据集准备、模型训练、人体姿势识别等。,人体的姿态是人体重要的生物特征之一。姿态识别能让计算机知道人在做什么、识别出这个人是谁。特别是在监控领域、还有在目标身份识别系统中可以作为一项重要的辅助验证手段，达到减小误识别的效果。 得益于神经网络的发展，在计算机视觉领域，识别的速度、准确度都有了很大的提高。目标检测、人脸识别、人体骨骼关键点检测、基于人体姿态的动作识别、基于人体姿态的身份识别等技术还在不断的发展完善中，目前精度比较好的模型基本都使用CNN作为基本特征提取结构。,针对人体姿态检测一般有两种做法，分别是top-down以及bottom-up的方法。 对于top-down的方法，往往是先做行人检测，然后把每一个人分割出来，最后基于每一个独立个体，找出各自的手手脚脚（人体关键点）。这种方法存在的问题是： 结果严重依赖第一步行人检测器的结果，如果人都没找到，就无从进行找手手脚脚这一步了。 计算时间和人数正相关，人越多越耗费时间。 对于bottom-up，思路正好相反，先是找图片中所有parts （关键点），比如所有头部，左手，膝盖等。然后把这些parts（关键点）组装成一个个人体骨架。这种方法的缺陷是： 没办法利用全局上下文的信息。,PAF（Part Affinity Fields)：部分区域亲和。 它负责在图像域编码着四肢位置和方向的2D矢量。同时，使用CMP（Part Detection Confidence Maps）标记每一个关键点的置信度。通过两个分支，联合学习关键点位置和他们之间的联系。 同时推断这些自下而上的检测和关联的方式，利用贪婪分析算法（Greedy parsing Algorithm），能够对全局上下文进行足够的编码，获得高质量的结果。,1. 环境准备,先通过git克隆该TensorFlow的实现版本代码库。代码如下： git clone https:/,tf-pose-estimation 代码库目录主要的文件解释如下： setup.py：安装文件。 run.py：单张图片测试推理计算人体姿态。 run_video.py：视频中的人体姿态识别。 run_webcam.py：实时摄像头拍摄的人体姿态识别。 tf-pose.py：该目录下是主要实现文件。 tf-pose 模块可以手动安装，也可以使用tf-pose目录下的文件。 如果使用手动安装则使用如下代码：python setup.py install,下载后，将 cmu 的 graph_opt.pb 复制到目录 models/graph/cmu 目录下。mobilenet_thin 的 graph_opt.pb 文件复制到 models/graph/mobilenet_thin/下。,2. 使用OpenPose识别姿态 首先导入相关模块，代码如下：,人体姿态识别前图片,人体姿态识别后图片,第一张图片：,第二张图片：,第三、四张图片：,结果图像如图所示： 左上角（“Result”）是绘制在原始图像的姿势检测骨架。 右上角（“Dot Network”）的图像是一个“热图”，其中显示了“检测到的组件”（S）。 两个底部图像（Vectormap-X，Vectormap-Y）显示了组件的关联（L）。,本次实验TensorFlow代码库基于Open Pose基础代码库。 OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。 可以实现人体动作、面部表情、手指运动等姿态估计。 适用于单人和多人，具有极好的鲁棒性。 是世界上首个基于深度学习的实时多人二维姿态估计应用。,人体关键点检测： 定义与应用场景 实现方法：自顶向下、自底向上 数据集：MPII、Microsoft COCO 姿态识别互动机器人的实验,谢谢观看,