人脸识别技术研究与应用的最新进展

赖剑煌 教授 Email: stsljhmial.sysu.edu.cn 中山大学信息科技学院自动化系 人脸识别技术研究与应用的最新进展人脸识别技术研究与应用的最新进展人脸识别技术研究与应用的最新进展人脸识别技术研究与应用的最新进展 Who am I ? 我们处于一个令人 难堪的社会，在这 个社会中，我们无 法不借助他物就能 证明自己的身份。 传统的身份认证方法 ? 标志性物品 身份证、驾照、印章、信用卡、胸卡、 证明、 ? 特定的信息 密码、口令、暗语、 传统方法存在的问题 ? 不可靠 泄露、冒用、伪造、 ? 不方便 遗忘、丢失、失窃、 人类安全面临挑战 ? 假冒身份是恐怖分子惯用的伎俩 9. 11、 ? 假冒身份已造成重大的经济损失 仅2002年，美国有990万人身份被盗， 造成损失530亿美元。 ? 网络等重要系统的密码破解 黑客事件、QQ盗号、网上银行密码 生物认证新技术 ?生物认证（Biometrics） 利用人类自身的特征来进行身份认证。 ? 生物特征 人类自身的特征统称为生物特征。 生物特征=生理特征+行为特征 ? 生理特征是与生俱来，如人脸、指纹、掌纹、 虹膜、DNA、； ? 行为特征后天形成，如笔迹、步态、声音 各种生物特征的比较 生物识别市场占有率 生物识别产品的前景 ? 目前世界生物识别的市场份额每年正以50% 的增长率迅速发展，2007年全球生物认证市场 的总量达到41亿美元，预计2008年，全球生物 认证市场的总量将达到46亿美元； ? 在相对国际生物识别产业发展具有后发性 的中国，自2002年以来，中国生物识别行业 的市场平均增长率都在60%以上，预计到 2010年，中国生物识别行业的市场规模将可 能达到30亿元人民币以上。 广泛的应用前景 1）制作门禁系统； 2）出入境检查； 3）刑事侦察和疑犯追踪； 4）信用卡执卡人身份确认； 5）Internet上的用户身份认证； 6）计算机登录系统； 7）政府福利发放； 9）在家庭娱乐等领域，等等。 ?识别问题他是谁？ 人脸识别技术需要解决的问题 ?验证问题他是不是他？ ?人脸识别流程（人脸获取，预处理） 获取人脸输 入系统 获取人脸输 入系统 ?人脸识别流程（特征提取） = n p p p p x x x x ? ? 2 1 ?人脸识别流程（识别） ?人脸识别流程（输出结果） 警告警告警告警告! 这是张三！ 人脸检测人脸检测 ?人脸检测(face detection)是指对于任意一幅 给定的图像，采用一定的策略对其进行搜索 以确定其中是否含有人脸，如果是则返回人 脸的位置、大小和姿态。 1 Yang MH, Kriegman D, Ahuja N. Detecting faces in images: A survey. IEEE Trans Pattern Analysis and Machine Intelligence, 2002, 24 (1): 3458. 2 Hjelmas E. Face Detection: A Survey. Computer Vision and Image Understanding 83,236274(2001). ?典型的方法有模板法、基于示例学习、基于 器官特征的方法、神经网络、彩色信息+形状 分析、AdaBoost的方法等等。 人脸检测人脸检测- -AdaboostAdaboost方法方法 ?Viola P.在CVPR01提出的通过对一些弱的 分类器的组合来形成一个强的分类器的方法。 基于正例和负例训练集，有三个训练步骤： 1. 通过“积分图”，构造特征集； 2. 组合弱分类器为强分类器； 3.级联检测器不断增加更多的强分类器 结果 预处理特征提取各类典型样本 模式分类特征提取预处理测试集 ?统计模式识别系统有训练和识别两个过程组成： 训练：训练： 训练集 测试测试 ?相关性 1122 1 12 ()() cov( ,) 1 n ii i xxxx x x n = = ?欧氏距离 = = n i ii xxxxd 1 2 2121 )(),( 相似性度量相似性度量 ?基于几何特征的人脸识别（早期技术） ?用面部关键特征的相对位置、大小、 现状、面积等参数来描述人脸 特征怎样特征怎样特征怎样特征怎样 定位？定位？定位？定位？ ?可变形模版（ASM，AAM，） ASM（形状）： AAM （形状+纹理）： ?特征脸，Principal Component Analysis (PCA) ?寻求有效表达数据的方向 ?K-L变换PCA ?K-L变换是压缩与特征提取的有效方法。 ?特征脸，Principal Component Analysis (PCA) ?一种降维方法， ?最大化总离散度 ?Principal Component Analysis (PCA) T XXXX NM )( 1 = , 21N xxxX?= ?, 21k uuu特征值对应的特征向量为 构造特征矩阵： = 22 2 2 2 1 1 , d d u u u u u u U? p T p xUy=数据降维： 1 p y 1 p y + 2 p y ?寻求最能区分类别的投影方向 ?最大化类间散度，最小化类内散度 () B W WS W JW WSW = 最大化最大化最大化最大化 ?LDA ?新趋势 ? LDA2D LDA 2D2LDA 其中，2D LDA 仅对图像矩阵的列展开计算，而2D2 LDA同时对行、列展开计算，使得计算过程要求计 算更少的系数以及更少的计算量 ? PCA 2D PCA 2D2 PCA LPCA（局部 PCA） 2D LDA 1D LDA ?独立主成分分析 ?Independent Component Analysis （ICA） ?寻求用独立分量表达数据 ?ISOMAP（等距映射算法）（等距映射算法） ?全局最优的非线性降维方法 ?可以构造出最佳的保持原非线性流形本质几何 分布特征的内嵌子空间，从而达到降维的目的 蓝色为降维（3D2D）后的距离：红色为实际距离 ?ISOMAP算法流程算法流程 ?思想：任意一点及其邻域点所在的流形面片可 以近似为线性 ?降维前后，每个数据点与其邻域点的相对关系 具有一定的不变性 ?LLE（局部线性内嵌子空间分析）（局部线性内嵌子空间分析） ?LLE算法流程算法流程 3）映射到低维嵌入空间：固定Wij，优化Yi，最小化 代价函数 2）在Xi的领域中，计算重构每个Xi的权值Wij，使重 构代价误差最小，定义最小化代价误差为： 1）局部领域点搜索：计算出每一向量Xi的领域点 Xij,j=1,K ?二维Gabor 函数实际上是一个被高斯窗所限制 的小波函数： ?基于基于Garbor小波特征的方法小波特征的方法 其中和分别代表Gabor 滤波器的方向和尺度， z= (x,y)为空间位置 ?人脸图像的Gabor 描述通过将人脸图像I(z)与 多尺度、多方向的Gabor 滤波器,(z)作卷 积实现 GII ?基于Garbor小波特征的方法 ?Gabor小波最符合人类视觉特性 ?在若干关键特征点位置计算40个 小波系数，8个方向，5个尺度 ?LBP （Local Binary Patterns） ?一种纹理描述 ?对于任意单调变换和旋转具有不变性 ?对人脸定位的误差、光照变化具有鲁棒性 ?计算复杂度小 以块中心灰度值为阈值对其他点进行二值化处理，并 选取一定方向进行编码： 将序列进行转换得到LBP编码 ?计算LBP流程： 1）将人脸分块 2）以块中心灰度值为阈值对其他点进行二值 化处理，并选取一定方向进行编码： 3）将序列进行转换得到LBP编码 4）计算每一块在LBP编码方式下的直方图 5）将各个块的LBP直方图合并得到全图LBP直 方图，用以识别 基于LBP方法的人脸描述方式 ?基于3D人脸模型的方法 ?形状+纹理 ?最新研究结果表明，3D人脸识别性能未 必优于2D人脸. ？ 1） 美国911以后出台的三个相关法案，如爱国者法 案、边境签证法案和航空安全法案，都要求必须采 用生物特征识别技术作为法律实施保证。国际联合 航空组织2003年6月要求188个成员国要在所有的旅 行证件里要使用人脸、指纹和虹膜等生物特征来进 行身份认证； 2）ISO/IEC JTC1/SC37 生物特征识别分技术委员会 2006年全会于2006年7月211日在英国伦敦召开。 中国代表团全程参加了会议。 相关动态 ? 国际国际 3）德国外交部11月1日宣布，申请德国护照的公 民都必须在办理护照的时候留下左右两手食指的 指纹 ; 4）日本2007年11月20日起在日本全国各口岸采集 世界各国入境人员两个食指指纹和面部照片 ； 5）欧盟 2008年2月开始，对非欧盟国家的入境者 采集指纹与其它生物数据措施； 6） 相关动态 ? 国际国际 相关动态 ? 国内国内 1）深圳海关、珠海海关已开始应用生物特征识 别； 2）2008 年4 月1 日-2008 年7 月31 日公安部科技 局、公安部出入境管理局、公安部第一研究所、 广东省出入境管理局将共同组织实施千万级人脸 评测工作。测试分为三个库： 目标库（GallerySet 容量1000 万）， 查询库A（Legitimate ProbeSet 容量10 万） 查询库B（Imposter ProbeSet 容量5 万）。 人脸识别系统的发展动态 ? 目前最受关注 Face Recognition Vendor Tests （FRVT） 发展：FERET (1994, 1995 and 1996) FRVT （2000，2002） ? FRVT 2006 Face Recognition Grand Challenge （FRGC） FRGC (2004.05-2006.03) FRVT 2006 ?由美国国家标准与技术中心组织，2006年1月30日提 交系统，2007年3月30日首次公布测试结果； ? 共有来自10个国家的22个单位参加，国际上最著名的 人脸识别公司，例如：德国的Cognitec System GmbH、 美国的Identix Inc、美国的Viisage以及近来被Google收购 的Neven Vison等都参加了该次测试。 ?国际上的一些知名公司，例如：韩国的三星公司、日 本的东芝公司等也参加了该测试。 ?中国的参加测试单位只有清华大学和北京大学。 ? FRVT 2006首次对2D人脸图像、3D人脸图像、虹膜图 像这三种生物特征同时进行测试，并给出可比较的结果。 ? FRVT 2006的测试结果表明，自动化人脸识别技术在提 高识别率方面（尤其在光照变化的条件下）有了新的进展 FRVT 2006 ? 测试关注点 高分辨率静态图象（56兆，3008 ×2000 pixels） 3D 人脸识别 多样本人脸识别测试 针对姿势、光照变化的预处理技术 FRVT 2006 FRVT 2006 2) 对于高分辨率数据库，只有 Neven Vision (NV1- norm) 的算法接近 FRR 2% 的目标，它的FRR 介于 2.1%-2.3% 之间; 3) 对于低分辨率数据库，最好的算法是日本东芝公司 （Toshiba）的（TO1-norm），可以达到 FRR 介于 2.4%-2.7% 之间。 FRVT 2006 测试结果 ?对2D超高分辨率图象识别 达到历史最佳水平： 0.001的错误接受率，错误拒绝率下降到0.01 ?对3D图象识别 与2D图像识别水平相当： FAR0.001 FRR0.0050.015 （3D） FRR0.0060.015 （2D） FRVT 20