多光谱面部识别系统研究综述.docx

    多光谱面部识别系统研究综述    陈丽 李志红 李艳萍 任晓光 包长春摘 要：多光谱面部识别系统基于不同光谱图像开发，近年来取得了快速进步本文首先介绍了多光谱面部识别系统的组成，然后在检索相关研究论文并分析的基础上，介绍了用于面部分析的公共多光谱数据库，识别系统的性能评价方法，分析了对面部识别系统的实现方法及应用，最后对多光谱面部识别系统的发展趋势给出了相关分析本文旨在为多光谱面部识别系统的研究提供参考Key：面部识别;多光谱图像;神经网络：TN707当今社会，面部识别系统的应用越来越广泛，例如企业收集员工信息（如上下班打卡），或是智能进行用户身份验证在检测图像时，传统的面部识别系统仅使用可见光谱（visible spectrum，VIS），越来越多的研究发现这些系统存在一定的局限性，如面部有遮挡、姿势发生变化、被检人员不配合，以及光线变化时，其识别精确度会受到不同程度的影响[1]为了提高面部识别效率，基于多光谱图像的面部识别系统被开发出来红外光谱，包括近红外（Near Infrared，NIR）、短波长红外（Short Wavelength Infrared，SWIR）、中波长红外（Medium Wavelength Infrared，MWIR）和长波长红外（Long Wavelength Infrared，LWIR）光谱，已成功地用于面部识别系统。

与VIS光谱相比，红外光谱基本不受光度差异等不利条件的影响，使得多光谱面部识别系统适应性更为广泛本文首先介绍了多光谱面部识别系统的组成，然后在检索并分析相关文献的基础上，介绍了图像数据库、性能评价和识别系统实现方法，并对其发展趋势进行了分析，旨在为相关研究提供借鉴1 多光譜面部识别系统的基本组成多光谱面部识别系统由5个部分组成（见下图），即图像采集、人脸检测、人脸比对、特征提取和分类识别，具体地说，其过程为：利用相机采集多光谱图像;对图像进行人脸检测，获得人脸边界框，并对图片进行裁剪，去除与被检测人员无关的背景;提取面部地标，如鼻子、眼睛、下巴和耳朵等，利用其位置信息，系统即可自主进行面部对齐，需要指出的是面部检测和面部地标提取可在所有光谱图像上进行，但一般优先使用可见光图像，再使用其他光谱图像辅助;面部特征提取，具体提取哪些特征取决于所用的模型方法，且提取的面部特征包含或嵌入了表征被检测人员身份的深度信息;对提取的面部特征按照一定的算法进行分类，最终确定图像中人员的具体身份相比于仅使用VIS光谱的面部识别系统，多光谱面部识别系统能够更准确地识别被检测人员，尤其在访问高安全级别场所时，能确保只有授权人员允许进入。

2 发表论文概况对多光谱面部识别系统的研究论文进行检索，具体做法为：利用艾斯维尔的ScienceDirect数据库检索有影响因子的期刊上发表的、光谱面部识别相关的所有研究论文，并排除会议论文，时间范围限定在2000—2020年之间通过检索发现，一共315篇论文发表在132种学术期刊上，且2016—2020年间多光谱人脸识别的报道呈指数增长，归纳起来有三个因素促进了其发展：（1）近红外和长波红外光谱波段的相机价格显著降低，大大推动了其普及性;（2）为增强识别系统的效率，需要减少系统中的人为干预，这就要求增加新的技术手段分摊原来人的工作任务;（3）深度学习在人脸识别系统中的实现，进一步推动多光谱识别的应用，使其具有了良好的应用前景3 图像数据库分类多光谱图像数据库有公共数据库和个人数据两种对论文中涉及的多光谱图像数据库进行分析，显示公共数据库最为常用，因为这些数据库允许数据库之间的性能比较，使得研究人员更容易的选择最适合的数据库，以实现其最佳设计功能个人数据库一般由论文作者自行开发并使用，没有功能比较模块大多数论文使用中国科学院的NIR-VIS 2.0、Oulu-CASIA NIR-VIS和中国科学技术大学的USTC-NVIE），且CASIA NIR-VIS 2.0数据库使用频率最高，原因主要包括两点：（1）该数据库的数据集协议已提前定义，即在训练和测试阶段已确定使用哪些图像，易于实现方法比较;（2）数据库由两个子数据库组成，其中一个子数据库含有原始图像，另一个子数据库包含分辨率为128×128像素的图像，且已进行了面部检测和面部对齐，该子数据库更加直观，能帮助研究人员更容易实现其设计目的。

进一步按照名称、创建年份、使用的光谱波段、人数、图像数量等对数据库进行分析从下表可以看出，大多数据库都已有若干年的历史;数据库中的平均人数为138人，人少远远小于仅含VIS图像的数据库，数据库图像少，不利于深度神经网络的训练和学习对公共多数据库中光谱图像的光谱波段分析发现，联合使用SWIR和MWIR光谱图像的数据库数量非常少，分别为11%和7%，其原因可能是与NIR或LWIR相机相比，SWIR和MWIR相机的价格仍然十分昂贵，不适于大规模普及4 多光谱面部识别系统性能评价方法面部识别系统主要用于人员身份识别和验证身份识别是指确定一个人身份的过程，通过与数据库中的大量身份信息进行一对多的比较来确定;身份验证指比对被识别人员与其提供的身份信息，确认其是否允许进入或通过的过程，是一对一的比较如果数据库容量很大，身份识别过程将非常耗时，此时需要使用一系列标准对多光谱面部识别系统进行性能评价，其中最常用的是Rank-N分值、验证率、误报率（FAR）和算法计算时间[2]识别系统的性能可利用身份识别预测返回值在N范围内（即Rank-N）结果的百分比来衡量Rank-1是指预测返回值为正确（即最高分）的百分比，其计算方法为：身份识别正确的图像数除以要识别的图像总数。

Rank-10是指在预测返回值排名前10的图像所占的百分比Rank-N可作为Rank-1的拓展和补充，但它不用于验证哪张图像最有可能正确，而是验证正确图像是否在这N张最可能的图像之中身份识别可分为两种类型，如果我们事先知道要识别的人存在于数据库中，称之为闭集识别，如果事先不知道这个人是否存在于数据库中，称之为开放集识别在闭集识别过程中，经常使用累积匹配（Cumulative Match Characteristic，CMC）曲线进行性能评价，CMC曲线根据Rank-N范围内图像的识别正确率绘制而成，其中最常用的N值是5和10在开放集识别中，通常使用受试者工作特征（Receiver Operating Characteristic，ROC）曲线进行性能评价，从ROC曲线可以计算得到ROC曲线下的面积（即AUC），AUC越接近1.0（即100%正确），那么应用该图像数据库进行身份识别的精准度越高，性能越好如果用TP代表系统识别为正确、实际为正确的图像数，FN代表系统识别为错误、实际为正确的图像数，那么验证率（真阳性率）即可表示为：TP/（TP+FN）×100%如用FP代表系统识别为正确、实际为错误的图像数，TN为系统识别为正确、实际为正确的图像数，那么FAR（误报率，也可称为假阴性率）即可表示为：FP/（FP+TN）×100%。

在门禁系统中，FAR用于衡量识别系统（如面部识别系统）允许未经授权用户访问的可能性，FAR值越低，门禁系统越安全可靠然而实际应用中，FAR值降低会伴随验证率降低，这就需要对算法进行微调，以在FAR和验证率之间取得权衡，从而满足面部识别系统的性能要求算法计算时间也可用于性能评价，使用多种方法获得的Rank-N分值相差不大，或系统要求固定FAR时，可通过计算识别所需的时间，来衡量多光谱面部识别系统的性能5 多光谱面部识别系统的实现方法5.1 方法分类对现有论文中多光谱面部识别系统进行分析，按照系统训练和测试阶段的圖像通道数量，可分为三种方式：（1）多通道到多通道;（2）多通道到单通道;（3）单通道到单通道，其中每个通道可以是某个确定的光谱波段或某光谱范围内的光谱多通道到多通道方法是在训练和测试阶段使用相同的通道，使用这种方法，可以获得更多的图像信息，但缺点是设备成本较高多通道到单通道方法是在训练阶段使用多个通道，而在测试阶段只使用一个通道，使用该方法可显著降低实现人脸识别系统的成本最后一种方法使用频率最低，在训练和测试阶段仅使用一个通道按照图像特征提取和分类，又可将多光谱面部识别系统分为特征表征、耦合子空间学习、图像合成、图像融合和深度神经网络五种方法。

5.2 特征表征方法及典型应用特征表征方法是在图像特征提取阶段，提取出不同光谱图像的最佳特征，通过特征提取，减少了初始图像信息量，简化了分类器的计算难度，也降低了不同光谱波段的图像间隙但特征提取方法有一个明显的缺点，即忽略了人脸的空间结构，而空间结构是在异质人脸识别系统（包括多光谱面部识别系统）中取得良好性能的关键信息Nicolo等利用Gabor滤波器提取图像的幅值和相位，然后分别用简化韦伯局部描述符、LBP和广义LBP这三种局部特征描述子进行特征提取，每个局部特征描述子生成一个包含135个bins的直方图，然后将三个直方图合并为单一的特征向量（或直方图），并使用相对熵比较信息损耗，建立基于SWIR与VIS光谱通道的面部识别系统，在TINDERS数据库上取得97.8%的Rank-1评分[3]Cao等使用复合多瓣描述子对NIR和VIS光谱图像提取特征，并用相对熵比较信息损耗，建立了多光谱面部识别系统，在TINDERS数据库上测试，1%误报率（FAR）下的验证率达91.54%，Rank-1评分为70.14%对SWIRI和VIS光谱图像，则取得1% FAR下的验证率为99.46%，Rank-1评分为78.65%。

Peng等开发了一种基于高帧率的图像表征方法，该方法使用马尔可夫网络模型描述不同光谱图像，并考虑了相邻图像之间的空间兼容性在CASIA NIR-VIS 2.0和USTC-NVIE数据库上进行识别系统测试，Rank-50评分分别为83.32%和95.38%[4]5.3 耦合子空间学习及典型应用耦合子空间学习方法是指将不同光谱图像的特征投射到一个公共子空间中，这个子空间允许在不同光谱图像共有的冗余特征中，识别出最相关特征，该方法可减少多光谱图像间隙该方法也有明显的缺点：一是当图像间隙较大时，公共子空间的辨别能力会大大减弱;二是在向子空间上投射图像特征不可避免地发生信息损耗，从而降低面部识别系统的性能Huang使用判别性谱回归的图像特征提取方法，将VIS和NIR的面部图像投射到一个公共判别式子空间，以进行面部识别，在CASIA-HFB数据库上获得了95.33%的Rank-1评分[5]Hu等在预处理阶段使用高斯差分滤波器，以减少VIS图像的光度变化和LWIR图像的位置变化的影响，并降低VIS和LWIR图像之间的模态间隙，提取图像特征后采用16×16像素的梯度直方图描述，最终建立了基于偏最小二乘法模型的一对多面部识别模型。

利用NVESD数据库在1米、2米和4米进行VIS和LWIR光谱图像的面部识别，得到的Rank-1评分分别为82.3%、70.8%和33.3%在距离1m、2m和4m处也进行了MWIR和VIS光谱图像的面部识别，分别获得了92.7%、81.3%和64.6%的Rank-1评分[6]5.4 图像合成方法及典型应用图像合成方法是将图像从不同光谱统一转换至VIS光谱后，再应用为VIS图像设计的面部识别系统进行识别，该面部识别系统的性能高度依赖于合成的图像的准确性Litvin等使用卷积神经网络将LWIR光谱图像转换合成为VIS光谱图像，同时修改了FusionNet架构及其训练算法，以减少过拟合、增加桥联、初始化有泄露的线性修正单元函数（ReLUs）和正交正则化后的Dropout利用该方法对RGB-D-T数据库中有姿势、位置和光度变化的三种图像进行了测试，分别产生了86.94%、9。