基于非线性因素分解模型的人脸基于非线性因素分解模型的人脸.pdf

基于非线性因素分解模型的人脸基于非线性因素分解模型的人脸 表情图像合成与识别表情图像合成与识别清华大学计算机科学与技术系清华大学计算机科学与技术系 人机交互与媒体集成实验室人机交互与媒体集成实验室 周川周川( (zhouchuan99@zhouchuan99@) )P1幻灯片 1幻灯片 1P1 P1 Providence, 2005-1-14因素分解模型原理因素分解模型原理线性模型线性模型非线性模型非线性模型csc jIiJjs iijscbWabawyT==∑∑==11c jIiJjs iijscbawy∑∑ ===Φ11)(因素分解模型原理因素分解模型原理TenenbaumTenenbaum和和FreemanFreeman以字符图像为例说明了因素分解以字符图像为例说明了因素分解 模型可以解决三类问题模型可以解决三类问题??分类问题分类问题(Classification)(Classification)，给出新字体下所有训练集内包含字，给出新字体下所有训练集内包含字 母的图像，求出新字体下字母的标号；母的图像，求出新字体下字母的标号； ??外推问题外推问题(Extrapolation)(Extrapolation)，给出训练集内部分字母在新字体下，给出训练集内部分字母在新字体下 的图像，求其余字母在新字体下的图像；的图像，求其余字母在新字体下的图像； ??转移问题转移问题(Translation)(Translation)，给出新字体下的新字母图像（训练集，给出新字体下的新字母图像（训练集 内没有出现过的字母），求已知字体下的新字母图像和新字内没有出现过的字母），求已知字体下的新字母图像和新字 体下已知字母的图像；体下已知字母的图像；面部表情合成（面部表情合成（1 1））使用使用“ “转移转移” ”功能合成面部表情图像功能合成面部表情图像Figure. FFigure. Facial expression synthesis. Facial expression from left to rightacial expression synthesis. Facial expression from left to right: : neutral, happiness, sadness, surprise, anger, disgust and fear. neutral, happiness, sadness, surprise, anger, disgust and fear. 面部表情合成（面部表情合成（2 2））利用情感参数量化控制表情合成利用情感参数量化控制表情合成合成的表情图像合成的表情图像情感评分情感评分NEHASASUANDIFENEHASASUANDIFENEHASASUANDIFE面部表情合成（面部表情合成（3 3））使用参数控制表情渐变使用参数控制表情渐变Video 1. 1Video 1. 1- -neutral, 2neutral, 2- -happiness, 3happiness, 3- -sadness, 4sadness, 4- -surprise, 5surprise, 5- - anger, 6anger, 6- -disgust and 7disgust and 7- -fear. fear. 面部表情合成（面部表情合成（4 4））合成库外人的任意表情合成库外人的任意表情??表情比例图像表情比例图像??相对形状模型相对形状模型'( , )( , )( , )A u vR u vA u v='( , )( , ) ( , )B u vR u v B u v=ENsss∆ =−''ENsss=+∆面部表情合成（面部表情合成（5 5））情感参数来量化控制任意人的表情图像情感参数来量化控制任意人的表情图像 合成的基本步骤：合成的基本步骤：??1 1．给出一张任意人的表情图像，利用人脸表观模．给出一张任意人的表情图像，利用人脸表观模 型来获得其观测向量；型来获得其观测向量；??2 2．将带入到非线性因素分解模型来计算其相应的．将带入到非线性因素分解模型来计算其相应的 身份参数向量和表情向量，并给出其重构结果；身份参数向量和表情向量，并给出其重构结果；??3 3．给定任意情感参数，计算其相应的表情向量，．给定任意情感参数，计算其相应的表情向量， 并合成库内所能表达的表情图像；并合成库内所能表达的表情图像；??4 4．将还原为纹理向量和形状向量，将还原为纹理．将还原为纹理向量和形状向量，将还原为纹理 向量和形状向量，将还原为纹理向量和形状向量；向量和形状向量，将还原为纹理向量和形状向量；??5 5．通过．通过和和计算获得最计算获得最 终的合成结果。

终的合成结果''()ENENssss=+−''E EN Ngggg=面部表情合成（面部表情合成（6 6））合成合成7 7种典型表情种典型表情图图. E. ERIRI合成库外人表情表情从左至右分别为对输入表情的重构和合成库外人表情表情从左至右分别为对输入表情的重构和 7 7种典型表情：中性、高兴、悲伤、恐惧、愤怒、惊讶、厌恶种典型表情：中性、高兴、悲伤、恐惧、愤怒、惊讶、厌恶面部表情合成（面部表情合成（7 7））参数化控制合成任意表情参数化控制合成任意表情合成表情合成表情合成表情合成表情合成表情合成表情输入图像输入图像NEHASASU ANDIFENEHASASUANDIFENEHASASUANDIFENEHASASUANDIFE身份和表情识别（身份和表情识别（1 1））参数向量的分布特性参数向量的分布特性参数向量的分布特性参数向量的分布特性??余弦函数：余弦函数：bababadistcos><=,),(_身份和表情识别（身份和表情识别（2 2））通过余弦函数值识别身份和表情通过余弦函数值识别身份和表情Figure. Person and facial expression recognition. Figure. Person and facial expression recognition. 身份和表情识别（身份和表情识别（3 3））识别结果与最近邻方法的比较识别结果与最近邻方法的比较91.429%91.429%94.286%94.286%身份识别身份识别身份识别身份识别1010个人的个人的6 6种表情进种表情进 行训练行训练, ,使用剩下的一使用剩下的一 种表情进行身份识别种表情进行身份识别. .79.720%79.720%98.601%98.601%85.315%85.315%100%100%表情识别表情识别身份识别身份识别表情识别表情识别身份识别身份识别使用使用1010个人的个人的7 7种表情种表情 进行训练进行训练, ,使用其余使用其余 143143幅图片进行测试幅图片进行测试. .最近邻匹配最近邻匹配因素分解模型因素分解模型测试方式测试方式表表1 1 识别率比较识别率比较Q&AQ&AThanksThanks。