第七章人体关键点检测 实验姿态识别互动机器人.
23页1、,计算机视觉原理与实践 第七章 人体关键点检测,人体关键点检测的数据集: 1. MPII 数据集 2. Microsoft COCO 数据集,实验 姿态识别互动机器人,0 4,实验目的 实验背景 实验原理 实验步骤 实验总结,1. 熟悉OpenPose的原理和运用 2. 熟悉基于OpenPose代码库进行人体姿态识别 3. 掌握tf-pose模型的操作流程,包括数据集准备、模型训练、人体姿势识别等。,人体的姿态是人体重要的生物特征之一。姿态识别能让计算机知道人在做什么、识别出这个人是谁。特别是在监控领域、还有在目标身份识别系统中可以作为一项重要的辅助验证手段,达到减小误识别的效果。 得益于神经网络的发展,在计算机视觉领域,识别的速度、准确度都有了很大的提高。目标检测、人脸识别、人体骨骼关键点检测、基于人体姿态的动作识别、基于人体姿态的身份识别等技术还在不断的发展完善中,目前精度比较好的模型基本都使用CNN作为基本特征提取结构。,针对人体姿态检测一般有两种做法,分别是top-down以及bottom-up的方法。 对于top-down的方法,往往是先做行人检测,然后把每一个人分割出来,最
2、后基于每一个独立个体,找出各自的手手脚脚(人体关键点)。这种方法存在的问题是: 结果严重依赖第一步行人检测器的结果,如果人都没找到,就无从进行找手手脚脚这一步了。 计算时间和人数正相关,人越多越耗费时间。 对于bottom-up,思路正好相反,先是找图片中所有parts (关键点),比如所有头部,左手,膝盖等。然后把这些parts(关键点)组装成一个个人体骨架。这种方法的缺陷是: 没办法利用全局上下文的信息。,PAF(Part Affinity Fields):部分区域亲和。 它负责在图像域编码着四肢位置和方向的2D矢量。同时,使用CMP(Part Detection Confidence Maps)标记每一个关键点的置信度。通过两个分支,联合学习关键点位置和他们之间的联系。 同时推断这些自下而上的检测和关联的方式,利用贪婪分析算法(Greedy parsing Algorithm),能够对全局上下文进行足够的编码,获得高质量的结果。,1. 环境准备,先通过git克隆该TensorFlow的实现版本代码库。代码如下: git clone https:/,tf-pose-estimati
3、on 代码库目录主要的文件解释如下: setup.py:安装文件。 run.py:单张图片测试推理计算人体姿态。 run_video.py:视频中的人体姿态识别。 run_webcam.py:实时摄像头拍摄的人体姿态识别。 tf-pose.py:该目录下是主要实现文件。 tf-pose 模块可以手动安装,也可以使用tf-pose目录下的文件。 如果使用手动安装则使用如下代码:python setup.py install,下载后,将 cmu 的 graph_opt.pb 复制到目录 models/graph/cmu 目录下。mobilenet_thin 的 graph_opt.pb 文件复制到 models/graph/mobilenet_thin/下。,2. 使用OpenPose识别姿态 首先导入相关模块,代码如下:,人体姿态识别前图片,人体姿态识别后图片,第一张图片:,第二张图片:,第三、四张图片:,结果图像如图所示: 左上角(“Result”)是绘制在原始图像的姿势检测骨架。 右上角(“Dot Network”)的图像是一个“热图”,其中显示了“检测到的组件”(S)。 两个底部图像(Vectormap-X,Vectormap-Y)显示了组件的关联(L)。,本次实验TensorFlow代码库基于Open Pose基础代码库。 OpenPose人体姿态识别项目是美国卡耐基梅隆大学(CMU)基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。 可以实现人体动作、面部表情、手指运动等姿态估计。 适用于单人和多人,具有极好的鲁棒性。 是世界上首个基于深度学习的实时多人二维姿态估计应用。,人体关键点检测: 定义与应用场景 实现方法:自顶向下、自底向上 数据集:MPII、Microsoft COCO 姿态识别互动机器人的实验,谢谢观看,
《第七章人体关键点检测 实验姿态识别互动机器人.》由会员没有****飞上分享,可在线阅读,更多相关《第七章人体关键点检测 实验姿态识别互动机器人.》请在金锄头文库上搜索。
2023-11-09 192页
2023-11-09 126页
2023-11-09 80页
2023-11-09 50页
2023-11-09 57页
2023-11-09 81页
2023-11-09 68页
2023-11-09 96页
2023-11-09 66页
2023-11-09 70页