第九章视觉交互机器人PPT课件.
,计算机视觉原理与实践 第九章 视觉交互机器人,CONTENT,目录,课前回顾,图像生成定义 与应用场景,图像生成 实现方法,常用数据集,实验:机器人书法学习,视觉交互机器人,0 1,实验背景 实验原理 实现步骤,迎宾场景中的服务机器人,实验背景,实验背景,实验数据集 Fer2013人脸表情数据集由35886张人脸表情图片组成，其中，测试图（Training）28708张，公共验证图（PublicTest）和私有验证图（PrivateTest）各3589张，每张图片是由大小固定为4848的灰度图像组成，共有7种表情,实验背景,视觉交互机器人,0 2,实验背景 实验原理 实现步骤,Xception 介绍,实验原理,Xception是谷歌公司继Inception后，提出的InceptionV3的一种改进模型，其改进的主要内容为采用深度可分卷积（depthwise separable convolution），来替换原来Inception v3中的多尺寸卷积核特征响应操作。 Inception网络的基本单元是Inception module，Inception module是介于传统卷积和深度可分卷积之间的一种结构。,Xception 原理,实验原理,典型Inception module,11卷积在通道维度提取信息,保证输出都是同尺寸大小后，特征图连接,不同分支：11卷积输出到不同空间,.,通过将 通道关系映射 和 空间关系映射 分开，从而使得这个过程更简单、高效,Xception 原理,实验原理,Inception module 简化示意图,11卷积得到的特征图的通道数都比输入特征的通道数要少,33卷积在不同分支里提取特征,Xception 原理,实验原理,Inception module 等价重构图,等价于将3个1x1卷积合并成一个,输入特征图通道分割成了三个互不交叉的部分,Xception 原理,实验原理,Xception 等价重构图,独立地给每个通道单独配一个33卷积,每个通道等价于一个分割区域,Xception 原理,实验原理,深度可分卷积,Xception,顺序不同,视觉交互机器人,0 3,实验背景 实验原理 实现步骤,实验结构,实验步骤介绍,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类 二、视觉交互机器人综合实验：人脸识别+情感分类,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,1. 数据准备 情感训练所使用的数据为fer2013人脸表情数据集， 数据下载并解压缩即可。,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,2. 网络设计 基于深度学习的人脸表情识别算法分为3部分： 人脸预处理 表情特征提取 表情分类,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,2. 网络设计 精简模式mini_Xception结构,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,2. 网络设计 代码实现,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,3. 模型训练：数据加载及预处理,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,3. 模型训练：数据增强的批量训练,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,3. 模型训练：数据增强的批量训练,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,3. 模型训练：数据增强的批量训练,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,4. 模型预测： 导入包 路径参数设置 加载模型 人脸识别,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,4. 模型预测： 路径参数设置,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,4. 模型预测： 加载模型,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,4. 模型预测： 人脸识别,一、基于Keras利用CNN主流架构之mini_XCEPTION训练情感分类,实验步骤,4. 模型预测： 预测结果显示,二、视觉交互机器人综合实验,实验步骤,要实现实验的场景，首先需要进行人脸识别，能够在人脸库检索对比，以确定来宾是否有入场资格；然后再根据来宾的表情，进行个性化的问候。 实现上述功能所需的关键技术有二： 人脸识别 表情识别（步骤一已实现）,二、视觉交互机器人综合实验,实验步骤,代码架构： trained_models：模型目录 trained_models/detect_models ： 人脸识别模型 trained_models/emotion_models：表情识别模型 face_bases：人脸库 images：待识别图像 src:可复用的代码文件,二、视觉交互机器人综合实验,实验步骤,face_detection_emotion_demo.py 导入包 实例化数据流图 加载训练好的表情识别模型包 图片归一化处理 进一步进行堆叠处理 面部进行分割 获取嵌入层 面部表情预测 人名及表情信息标注,二、视觉交互机器人综合实验：face_detection_emotion_demo.py,实验步骤,导入包 实例化数据流图 加载训练好的表情识别模型包 图片归一化处理 进一步进行堆叠处理,二、视觉交互机器人综合实验：face_detection_emotion_demo.py,实验步骤,面部进行分割 获取嵌入层 面部表情预测 人名及表情信息标注,二、视觉交互机器人综合实验：结果展示,实验步骤,原始图片： 识别人脸及进行切割： 完成姓名及表情标注：,二、视觉交互机器人综合实验,实验步骤,程序执行输出日志如下：,视觉交互机器人综合实验，主要利用已有人脸及表情识别模型，对包含人脸的图片进行处理，识别其中人脸及表情，并将其与人脸库中的图像进行对比，从而识别出其姓名。希望同学们通过这个实验，了解掌握人脸及表情识别的基本原理，并能将其应用于实际中。,本章小结,谢谢观看,
