基于通道校正卷积的真彩色微光图像增强.docx

    基于通道校正卷积的真彩色微光图像增强    何锦成,韩永成,张闻文,何伟基,陈钱(南京理工大学 电子工程与光电技术学院,江苏 南京 210094)0 引言夜视技术是通过光电成像器件来探测夜间目标的技术[1]传统的夜视技术均为单色图像,由于人眼能分辨的颜色等级是灰度等级的几百倍[2],研究人员致力于将单色夜视图像彩色化以往是利用不同波段的信号产生的图像融合成彩色图像[3]或者通过颜色传递的方法[4-5],产生的彩色图像不自然,不能反映景物在白天所呈现的真实颜色信息真彩色夜视技术得到的图像与白天看到物体的颜色相一致,更加接近物体的真实颜色[6],与人眼的主观视觉相一致,能够提高目标的识别率,具有重要的研究意义和应用价值随着探测器灵敏度的不断提高及背照式传感器等技术的发展,固态成像器件也逐步向低照度成像方向发展低照度图像增强方法大致分成两大类：传统的方法和基于深度学习的方法[7]传统的有基于直方图均衡化(HE)的方法、基于Retinex理论的方法[8-10]和基于暗通道去雾的方法[11]基于深度学习的如下：Wang等[12]采用了编码解码的网络进行光照图估计,然后通过简单网络进行细节重建。

Wei等[13]提出用网络将低照度图像分成光照图和反射图,对光照图进行增强,反射图进行去噪,最后合成结果Song等[14]是对Wei等[13]方法的改进,提出了多尺度联合网络对光照图进行增强,并提出了色彩损失函数解决了颜色失真的问题Zhang等[15]提出的方法与Wei等[13]的方法类似,但其在反射图上通过恢复网络进行降噪,最终合成结果黄辉先等[16]在光照增强网络上加入了注意力机制,有效提高了网络的性能这些基于Retinex模型的方法关键的步骤就是估计光照图,如何准确估计光照图决定了它们处理结果的准确性与可靠性Jiang等[17]提出了无监督的方式进行图像增强Guo等[18]提出了通过设计光照增强曲线来增强低照度图像Zhang等[19]提出了反射图的最大通道与低照度图像的最大通道一致且熵最大来设计损失函数增强低照度图像唐超影等[20]利用卷积神经网络将低照度的可见光图像与近红外图像融合,既保留了可见光图像的色彩,又兼顾了近红外的信噪比在极低照度条件下,Chen等[21]提出了利用卷积神经网络U-Net[22]来代替传统的图像处理管道来处理原始传感器图像该方法只针对特定的raw图像数据集,采用的是传统损失函数,未考虑图像噪声和色彩损失。

为了抑制低照度图像的噪声,一些方法是先增强、后降噪,但是增强会导致原来图像中的噪声更明显;还有的方法是先降噪、后增强,这样会导致原来图像中的细节丢失产生模糊此外,分两步进行还会增加处理时间,影响实时性本文提出一种基于通道校正卷积(Channel-Calibrated Convolution,CCConv)的低照度彩色图像增强算法,用通道校正卷积来代替传统的卷积,形成U-Net结构的网络来进行端对端的训练在传统损失函数上增加了Sobel损失函数和色彩损失函数,抑制噪声并提高色彩饱和度该算法既能同时处理低照度图像的亮度、对比度、颜色、噪声等问题,又能减少运行时间1 基于通道校正卷积的图像增强算法传统卷积构成的U-Net网络在许多的计算机视觉任务中显示出优越性[21-22],能够有效分割图像并将信息融合,且位置不偏移等整个网络的输入为含噪的低照度图像,通过编码器下采样进行特征提取,然后通过解码器上采样,与之前通过跳连接的方式进行特征融合,最后输出恢复的图像但是传统卷积在优化冗余色彩和保留图像细节方面做的不够好,因此本文采用CCConv代替U-Net网络中的传统卷积,算法处理流程与网络结构如图1所示,能更好地呈现细节特征,保留丰富的信息。

图1 基于CCConv网络结构及图像处理流程Fig.1 CCConv-based network structure and image processing flow1.1 基于通道注意块的通道校正卷积由于彩色图像RGB各个分量中的纹理、边缘、相位和灰度变化梯度具有很强的相关性和一致性[23],本文引入注意力机制[24]中的通道注意块,便于分析各个通道之间的特征假设原始输入图Fin,通过全局平均池化和全局最大池化特征描述符,然后由多层感知器生成特征向量,最后通过Sigmoid函数获得通道注意特征图,将该特征图与原始输入Fin相乘得到结果Fout该计算过程可以用图2描述图2 通道注意块工作流程Fig.2 Channel attention block workflowWc=sigmoid{MLP[AvgPool(Fin)]+MLP[MaxPool(Fin)]}(1)Fout=Wc·Fin(2)式中：Wc为通道注意特征图;Fout为结果特征图;MLP(·)为多层感知器;AvgPool(·)为平均池化;MaxPool(·)为最大池化受到自我校正卷积[25]的启发,本文提出的CCConv可以优化冗余色彩并保留更多图像信息,对特征表达更具判别力。

如图3所示,先将输入通过1×1卷积分成两个分支,每个分支上的通道数为原来的一半,上分支采用通道注意力块(Channel Attention Block,CAB),便于分析各个通道之间的特征,下分支维持原来的信息,最终级联输出通过1×1卷积恢复到原来的通道数图3中,xin和xout分别输入和输出,x1与x2为中间输出,为了提高训练速度,使用残差即与原来输入相加,算法使用的通道数如表1所示表1 网络各卷积层特征通道数Table 1 Number of feature channels in each convolutional layer of the network图3 通道校正卷积原理框图Fig.3 Block diagram of Channel-Calibrated Convolution通道校正卷积公式为x1=f3×3{CAB[f1×1(xin)]}(3)x2=f3×3[f1×1(xin)](4)xout=xin+f1×1[concat(x1,x2)](5)式中：f表示卷积;CAB(·)表示通道注意力块;concat(·)表示级联1.2 损失函数所有的机器学习算法都或多或少的依赖于对目标函数最大化或者最小化的过程,常常把最小化的函数称为损失函数,主要用于衡量机器学习模型的预测能力。

在机器学习的任务中,损失函数的选取十分重要损失函数用来指导训练过程,使得网络的参数向损失降低的方向改变为了优化网络训练,通常采用损失函数来使增强图与参考图的差别最小化,从而达到最佳训练效果传统损失函数l1定义如下：l1=‖IEn-I‖1(6)式中：IEn表示增强的图像;I表示参考图像;‖·‖1为l1范数传统损失函数通过逐像素比较差异,没有考虑图像中的噪声,不能突出图像的纹理细节以及色彩饱和度等方面的问题由于Sobel算子对噪声具有平滑作用,本文改进了原有的损失函数,加入了基于Sobel的损失函数和色彩损失函数,如式(7)所示：l=l1+lSobel+lyuv(7)式中：l为总的损失函数;lSobel为基于Sobel的损失函数;lyuv为色彩损失函数基于Sobel算子的损失函数如式(8)所示：lSobel=‖SIEn-SI‖1=‖(‖Gx*IgEn‖1+‖Gy*IgEn‖1)-(‖Gx*Ig‖1+‖Gy*Ig‖1)‖1(8)(9)(10)式中：SIEn和SI分别表示增强后的图和原始图;Gx和Gy分别表示水平和垂直的算子;IgEn和Ig分别表示IEn和I的灰度图像色彩损失函数,如式(11)所示：lyuv=‖IUEn-IU‖1+‖IVEn-IV‖1(11)式中：IUEn和IVEn表示增强图像的UV色彩信息;IU和IV表示参考图像的UV色彩信息。

1.3 评价指标为了定量评价算法的增强效果,本文用峰值信噪比(Peak Signal-to-noise Ratio,PSNR)、结构相似性(Structural Similarity,SSIM)和自然图像质量评估器(Natural Image Quality Evaluator,NIQE)[26]进行评价PSNR的定义如下：(12)(13)式中：MSE(x,y)为均方误差,x和y分别为输入图像和参考图像;M和N分别为图像的长和宽;xi,j和yi,j分别为输入图像和参考图像中像素点(i,j)的灰度值SSIM的定义如下：(14)NIQE的定义如下：(15)式中：ν1、ν2、Σ1和Σ2分别为自然图像MVG模型和畸变图像MVG模型的均值向量和协方差矩阵,详细内容可Reference[26],该参数值越小,表明图像质量越高2 实验与分析目前关于低照度图像增强的真实配对数据集不多,主要是Wei等[13]收集的公开数据集,该数据集被广泛应用于基于深度学习的低照度图像增强领域,是第一个在真实场景中拍摄的低光/常光图像的配对数据集低光图像是通过改变曝光时间和ISO来收集,包含500对大小为600×400的低光/常光图像,以RGB格式保存。

2.1 消融实验首先对比传统卷积和本文的通道校正卷积处理的效果,结果如表2和表3所示从表2中可以看出,使用传统卷积的U-Net算法恢复的图像中带有网格的伪像,并且局部有发白的情况由表3可以看出,同比与传统卷积形成的U-Net算法,本文模型的浮点运算数(Floating Point Operations,FLOPs)减少了13.71%,模型的参数量减少了13.65%,PSNR值提升了29.20%,SSIM值提升了7.23%,结果表明本文提出的模型复杂度降低了,图像信噪比PSNR和SSIM明显提高表2 消融实验结果Table 2 Ablation experiment results表3 不同参数及结构在验证集上的定量对比Table 3 Quantitative comparison of different parameters and structures on the validation set其次本文对比了用不同损失函数训练后的效果,如表4所示由表4可以看出：仅使用l1损失函数,恢复的图像带有网格的伪像和噪声;将l1和lSobel损失函数联合起来使用,虽然抑制了噪声但图像中的绿色场地和红色的看台颜色饱和度降低;将l1、lSobel和lyuv3个损失函数联合使用,不仅提高了亮度,抑制噪声的同时色彩饱和度也恢复了。

为了定量描述损失函数的效果,将不同损失函数在验证集上进行了对比,结果如表5所示,采用本文提出的损失函数(l1、lSobel和lyuv)时PSNR最高,效果是最优的表4 不同损失函数的效果对比Table 4 Comparison of different loss functions表5 不同损失函数在验证集上的定量对比Table 5 Quantitative comparison of different loss functions on the validation set2.2 公开数据集的实验结果与客观分析考虑到目前主流算法大都会对公开数据集评价,本文也针对该数据集与Dong[11]、LIME[8]、Retinex Net[13]、Zero-DCE[18]、Enlighten GAN[17]、KinD[15]和ICE-Net[19]共7种较有代表性的低照度图像增强算法进行对比,并使用公开推荐的参数进行训练测试,通过PSNR、SSIM、NIQE进行评价其中Dong和LIME算法为传统算法,其余5种为基于深度学习的算法测试图像的客观评价指标如表6。