深度学习的人脸识别进展与挑战.pdf

数据驱动的深度人脸识别数据驱动的深度人脸识别 研发进展及挑战研发进展及挑战山世光中科院计算所sgshan@Institute of Computing Technology, Chinese Academy of Sciences提纲提纲背景与概况人脸识别技术的深度化人脸检测技术面部特征点定位技术判别特征学习与匹配方法SeetaFace人脸识别引擎总结与讨论2Institute of Computing Technology, Chinese Academy of Sciences全自动人脸识别系统流程全自动人脸识别系统流程3特 征 提 取 器 Fy1=F(x1)y2=F(x2)S(y1,y2)x1x2S>70?Y同一人同一人不同人不同人N+++++++++ +人脸检测特征定位预处理特征提取特征比对Institute of Computing Technology, Chinese Academy of Sciences特征提取器特征提取器F（传统方法总结）（传统方法总结）第一代：完全人工设计特征几何特征，图像模板，Fourier谱第二代：（子空间）变换特征PCA，LDA，LPP，SR… 第三代：人工设计局部特征+变换特征Gabor滤波器，LBP+ PCA，LDA等4输入图像空间特征变换低维判别特征空间输入图像空间特征变换低维判别特征空间局部特征提取高维局部特征空间Institute of Computing Technology, Chinese Academy of Sciences特征提取器特征提取器F（传统方法总结）（传统方法总结）分步法：预处理+人造特征+分类器学习预处理光照归一、姿态矫正、去遮挡、去表情…人造特征（Knowledge-driven）滤波器（Haar-like, SURF, Gabor）梯度统计（SIFT，HOG，LBP）分类器学习（Data-driven）线性变换(PCA, LDA, MDS, Linear SVM)非线性方法流形学习，Kernel，非线性升维，分段线性（AdaBoost，DT）5Institute of Computing Technology, Chinese Academy of Sciences特征提取器特征提取器F（传统方法总结）（传统方法总结）分步法的缺陷通用特征不适应特定问题问题特定特征设计困难各个步骤最优未必全局最优非线性能力的缺失流形学习非显式变换；Novel样本不适用；分段线性Kernel方法黑盒子；有限种类核函数；核函数不可学6直接的非线性映射端到端/Joint LearningInstitute of Computing Technology, Chinese Academy of Sciences人脸识别近期发展的最大特点人脸识别近期发展的最大特点通用的检测与识别技术几乎完全适用于人脸处理！7最深刻的变化：人脸识别 不再搞特殊化了！Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)变迁变迁前馈神经网络初步加权求和(卷积)非线性操作二值化，SigmoidReLU层级前馈连接本质上要学习非线性函数 y=F(x)8x=(x1, x2, x3)y=(y1, y2)Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)变迁变迁优化方法（学习权重和偏置）1974年Webos在博士论文中首次提出BP算法，但未引发关注目前广泛使用的BP算法诞生于1986年以全连接层为例：链式求导，梯度反向传播9Werbos, P.. Beyond Regression: New Tools for Prediction andAnalysis in the Behavioral Sciences. PhD thesis, Harvard University, 1974 Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors“. Nature 323 (6088): 533–536.网网 络络 前前 向向 计计 算算误误 差差 反反 向向 传传 播播Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)CNN层叠以下三级操作+全连接层卷积层：局部连接（卷积，滤波器…）Pooling层：下采样，降维，获取不变性非线性激活10Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)卷积层：局部连接（卷积，滤波器…）共享权重（若干种滤波器）大大减少需要学习的权重数Pooling层：降维，不变性非线性激活11相同颜色的节点 共享权值7844Max Pooling552.52.5Mean Pooling3614477822122434Kernel size: 2x2 Stride:2Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)变迁变迁12198919982012201520142015Institute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)变迁变迁演化脉络13NeocognitronLeCun1989LeNetAlexNetVGG16VGG19NINGoogLeNetInception V3 Inception V4ResNetFast R-CNNSTNetSPP-Net R-CNNFCNFaster R-CNNInception ResNetInception V2 (BN)MSRANet网络加深增强卷积模块功能从分类任务到检测任务增加新的功能单元两条路线的集成，训练更深 的网络结构，加速收敛早期尝试历史突破ReLU DropoutCNN + RNN/LSTMInstitute of Computing Technology, Chinese Academy of Sciences卷积神经网络卷积神经网络(CNN)全连接层本质上是非线性变换：y=f(Wx) 卷积层本质上是层级的、滤波型局部特征与之前局部特征的不同Gabor：权值固定、人为设定（加窗傅里叶型函数）CNN： 权值通过数据驱动的方式学习而来（最优目标函数）14Institute of Computing Technology, Chinese Academy of Sciences特征提取器特征提取器F（深度学习时代）（深度学习时代）第一代：完全人工设计特征几何特征，图像模板，Fourier谱第二代：（子空间）变换特征PCA，LDA，LPP，SR… 第三代：人工设计局部特征+特征变换Gabor滤波器，LBP+ PCA，LDA等第四代：特征学习局部特征参数可学习变换可学习非线性15输入图像空间特征(变换函数F) 学习低维判别特征空间——数据驱动——知识驱动——知识+数据驱动——完全数据驱动Institute of Computing Technology, Chinese Academy of Sciences人脸识别测试集和性能的变迁人脸识别测试集和性能的变迁人脸识别技术史本质上是评测人脸库更替史！学术界的里程碑（数据库）ORL, Extended Yale B: 1990~2012 (人数少于40人)首选识别率: 95%~99% [J.Wright et al, 2008]FERET: 1994~2010 (1196人, 每人2~5张图)首选识别率: 99%~94% (Dup.I FR.LoadModel(const char* model_path)Extract face feature from an input image FR.ExtractFeatureWithCrop(const VIPLImageData gray_im,VIPLPoint * points, FaceFeatures feats)Compute similarity of two face features FR.CalcSimilarity(FaceFeatures const fc1, FaceFeatures const fc2);ImageIdentity featureLandmarksInstitute of Computing Technology, Chinese Academy of SciencesSeetaFace引擎总结引擎总结下载源码： license（全免费使用）无第三方函数库依赖精度和速度可满足很多应用需求 (单颗单颗3.4GHz i7 CPU)SeetaFace Detector: 20ms/VGA图像 （最小人脸80x80）SeetaFace Alignment: 5ms/faceSeetaFace Identification: 120ms/face Totally ~200ms/image (on single i7 CPU core )PerformanceSeetaFace Detector: DR=84.4%@100FPs（VGA图像实时）LFW上~98.6% （半自动系统）LFW上~97.1% （全自动系统）Institute of Computing Technology, Chinese Academy of Sciences提纲提纲背景与概况人脸识别技术的深度化人脸检测技术面部特征点定位技术判别特征学习与匹配方法SeetaFace人脸识别引擎总结与讨论71Institute of Computing Technology, Chinese Academy of Sciences挑战：人脸识别应用层面挑战：人脸识别应用层面姿态：超过45度角度情况下（俯视、仰视和侧面）光照白天可见光，晚上(近)红外室外严重偏光或背光条件分辨率(远距离)：40x40像素以下遮挡（墨镜、口罩）大尺度整容开放监控场景下的人脸布控千万分之一的虚警率72Institute of Computing Technology, Chinese Academy of Sciences挑战：深度学习方面挑战：深度学习方面理论层面：优化方法，收敛性，可解释性，可学习性应用层面：大数据可得性，异构计算，速度与功耗模型相关从参数学习到结构学习？新结构：层内连接，跨层连接，多任务子网络互联如何在预测阶段进行反馈与网络调制？归纳学习vs.演绎推理：如何赋予机器演绎推理能力？数据相关大数据是解决CV问题的终极道路吗？举一反三：大数据是否学习之必需？无师自通：如何获取无监督学习能力？基于脏、乱、差、小数据的深度学习73Institute of Computing Technology, Chinese Academy of Sciences小规模数据条件下的深度学习小规模数据条件下的深度学习74问题问题：较小规 模数据条件下 的视觉表示与 测度学。