人脸表情识别

人脸表情识别的发展,目录,1.人脸表情,2.人脸表情特征提取方法,3.人脸表情识别分类方法,目录结构,4.人脸表情识别进一步挑战,表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手段。人们可通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认对方的态度和内心世界。关于表情传递信息的作用，心理学家Mehrabian1给出了一个公式：,感情表露=7的言词+38的声音+55的面部表情,Ekman和Frisen3提出面部表情编码系统(FACS)，用44个运动单元(Au)来描述人脸表情变化，并定义了6种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤。,1.人脸表情,一个人脸表情识别系统一般包括3个环节，即人脸检测、特征提取、表情分类. 1.需要对人脸进行检测与定位，这一环节的研究实际上已成为一个独立的方向， 2.从人脸图像或图像序列中提取能够表征输入表情本质的信息，在提取特征数据的过程中，为了避免维数危机，可能还需要特征降维、特征分解等进一步处理； 3.分析特征之间的关系，将输入的人脸表情分类到相应的类别，如AU组合或基本情感类别。,1.人脸表情,1.人脸表情系统,表情特征提取是FER系统中最重要的部分，有效的表情特征提取工作将使识别的性能大大提高。通过对大量文献的总结，可知好的表情特征提取结果应该具备以下几个条件： (1)完整的表示出人脸表情的本质特征； (2)去除噪声、光照及其他与表情无关的干扰信息； (3)数据表示形式紧凑，避免过高的维数； (4)不同类别表情的特征之间有较好的区分性。,人脸表情特征提取,主成分分析法(PCA),局部二值模式(LBP),Gabor小波变换,特征提取算法,人脸表情特征提取,主成分分析法(PCA),PCA的主要思想是通过协方差矩阵分析各个属性之间的相关性，选取出该图像的主成分来排除这些冗余信息，并形成一个变换矩阵；再通过该矩阵实现Karhunen-Loeve变换(正交变换)，将原有的高维图片所形成的向量进行降维,由于PCA需要很大的存储空间以及计算复杂度，因此很多研究者都提出了相应的改进算法。Thai等在文献231中比较了2DPCA和PCA，由于PCA需要将图片矩阵转换成向量后进行转换且其维数特别高，而2DPCA直接对图像矩阵进行转换。最后运用大量实验验证了2DPCA在表现力及速度方面都远远高于PCA。,局部二值模式(LBP),LBP通过计算图像中所包含的每个像素与其局部邻域的点在亮度上的序关系，然后对二值序关系进行编码形成局部二值模式，最后采用多区域直方图作为图像的特征描述 。,Gabor小波变换,Dogmas 提出了2-D Gabor滤波器,该滤波器具有一组不同参数,可以捕捉到显著的空间局部调制特性和方向选择特性。二维Gabor滤波函数在空间域和频率域中具有良好的分辨能力,具备提取图像局部信息变化的能力,同时,Gabor小波变换对光照和图像的变形有较好的鲁棒性,因此在图像处理中有广泛的应用。,分类：,人脸表情分类包括表情别与表情描述，表情别是对面部信息的编码；表情描述分为情感映射与基本情感其最终的是判断提取的特征所对应的表情类别。,HMM,SVM,最近邻学习法(kNN）,分类算法,分类：,HMW算法通过提取的特征构成观察向量，人脸的表情特征可以抽象为HMM的状态序列，每种表情对应一个HMM，并使用概率矩阵描述状态的出现及其转移用。在整个过程中主要涉及到求值评估、识别解码、训练学习三个问题，可通过前向、后向、Viterbi、BaumWeleh三个经典算法依次解决。,HMW算法,在参数估计问题上，BaumWeleh算法只能使模型参数收敛到局部最优值，很难实现全局最优值。,缺点：,SVM算法,支持向量机（SVM）是一个二元分类器，通过非线性函数将样本映射到一个特征空间内，使两个类在特征空间中线性可分，并寻找样本在特征空间中的最优线性分类超平面，使得训练集中的样本点距离分类面尽可能远，即使分类间隔最大。,正是由于SVM避开了从归纳到演绎的传统过程，高效地实现了从训练样本到预报样本的推理转化，降低了算法的复杂度并具有良好的鲁棒性。但是支持向量机只适合应用于小样本数据的分类情况，在大样本情况下，由于矩阵的计算需要耗费大量的内存资源，运行效率会直接受到影响。,优点与缺点：,最近邻学习法(kNN）,最近邻学习法(kNN)作为一种惰性学习法，在进行分类时并不像急切学习法一样，在接收到训练元组时只是简单地存储它(或只是稍加处理)，仅有接收到测试元组时才进行泛化 。以距离为度量，计算并得出离测试最近的k个元素，根据这k个元素所属类别来标记测试元组。,由于kNN算法存在分类效率低以及同等对待各个特征的原因降低了分类的准确程度,缺点：,人脸表情识别的进一步挑战,(1)由于每个人的差异性，人脸外貌、表情、肤色等都有可能不同，具有模式的可变性。 (2)各种算法往往需要将人脸上存在的人为表情作为前景提出之后才能发挥作用，实用性不是很大。 (3)即使手工提取出人脸作为前景，但是人脸上依然可能存在的眼睛、胡须等附属物的影响无法排除，鲁棒性差。 (4)存在于三维现实生活空间中的人脸往往会受到光照而产生灰度变化。,谢谢大家！,THANK YOU!,