本文是一篇计算机论文，笔者考虑到现有的一些深度学习的方法在特征学习过程中，由于特征信息丢失的问题，而导致最终增强结果中所产生的色彩偏差和图像纹理缺失的问题，本文提出了一种基于多尺度特征融合的低光图像增强算法。
1 绪论
1.1 研究背景与意义
在光线不足的夜间，拍摄的图像往往因曝光不足而存在可见度低、细节不清晰、噪声干扰大、光照不均匀等问题，具有此类问题的图像通常被称作低照度图像。低照度图像不仅会给人带来较差的视觉感受，还会严重影响针对图像信息处理的计算机视觉系统的正常运作。虽然随着工业相机设备技术的发展，各种型号的工业相机分辨率和曝光时间等性能都得到了极大提升，但利用硬件提高分辨率的方法成本高且泛化能力差，难以普及应用。因此，许多研究人员开始利用图像增强技术对图像进行后续处理，以提高图像质量。在计算机视觉领域，图像增强算法的应用价值十分重要。该算法能够在亮度、细节等方面对低照度图像进行大幅提升，因此在目标检测、智能驾驶、交通监控、遥感图像等领域都具有重要作用。
传统的低光图像增强方法主要基于物理模型。这类方法的研究目的在于探究图像因低光照等因素受到的物理降质过程，并建立相关的物理退化模型，并尝试反演退化过程，以弥补因此造成的失真，获得清晰且具有正常光照的最优图像估计值，从而提高图像质量。这种方法针对性强，得到的亮度增强效果自然，符合人眼视觉系统的习惯。然而，基于物理模型的亮度增强算法的关键点是模型中参数的估计，而估计值或多或少会存在一定的偏差，这也就会造成过曝或欠曝的现象，并且，由于在反推物理模型时并未考虑图像在复原的过程中产生的噪声，因此复原结果会存在一定的噪声，影响视觉效果。基于此，研究人员逐渐将近年来火热的深度学习方法引入到了低光图像增强的研究当中，该方法可以绕开对物理模型参数的估计，以学习的方式得到想要获取的特征，但由于深度学习方法是数据驱动，所以实验结果容易受到数据的影响，在数据量大而全面，网络模型合适的情况下，该方法能得到不错的复原效果，但是若数据集选取的不够好，那么得到的复原效果就不会很理想，所以深度学习的方法有着许多需要改进的地方，例如开发更能学习图像深层信息的网络结构，与物理模型更好的结合以及建立更贴合真实场景的数据集。
1.2 国内外研究现状
随着计算机视觉技术的快速发展，数字图像处理系统已经在视频监控[1]、智能交通[2]、遥感监测[3]等许多领域得到了广泛应用，并在工业生产[4]、日常生活[5]、军事应用[6]等方面扮演着重要角色。然而，在图像采集过程中常常会遇到一些不可控因素，这些因素会导致各种图像缺陷的出现。尤其是在光照条件较差的情况下，例如室内、夜间或阴天，物体表面所反射的光线可能会很弱。因此，由于光线不足和噪声等问题，低光图像的图像质量会出现严重下降。此外，经过图像转换、存储、传输等操作，低光图像的质量还可能进一步降低。
低光图像增强的主要目的是优化图像的整体和局部的亮度与对比度，以增强其视觉效果，并将其转换成适合人类或计算机处理的形式。在此过程中，需要最小化噪声的影响，以确保出色的增强性能。为实现这一目标，需要提高在低照度下捕获数据的有效性和可用性，以获得清晰的图像。这种增强不仅可以使图像更符合个人的主观视觉感知，提高户外视觉系统的可靠性和鲁棒性，而且可以使计算机视觉设备更方便地对这些图像进行分析和处理。低光图像增强方法可分为以下几种方法。
(1) 灰度变换方法
灰度变换方法是一种基于数学函数的空域图像增强算法，它通过将单个像素的灰度值转换为其他灰度值来改变图像的视觉表现[7]，通常也被叫做基于映射的方法。这种方法通过修改像素灰度值的分布和动态范围来增强低光图像。此类方法主要包括线性变换和非线性变换。
(2) 直方图均衡化方法
如果一个图像的像素值分布均匀，涵盖了所有可能的灰度级，则图像将具有高对比度和大动态范围的特点。基于这一特点，直方图均衡化（Histogram Equalization，HE）为了提高图像的全局对比度，使用累积分布函数（Cumulative Distribution Function，CDF）对输出灰度级进行调整，使其具有对应于均匀分布的概率密度函数[10]。这种方法可以有效增强输入图像的视觉效果，使之前隐藏在暗区的细节重新出现。直方图均衡化通过计算区域的区别，可以分为全局直方图均衡化（Global Histogram Equalization，GHE）和局部直方图均衡化（Local Histogram Equalization，LHE）两种方法。
2 相关理论与技术简介
2.3 低光图像增强技术相关概述
2.3.1 卷积神经网络
卷积神经网络（Convolutional Neural Network，CNN），其本质是一个多层感知机，由生物学家休博尔和维瑟尔在早期的猫视觉皮层的研究发展而来。卷积神经网络成功的优势在于减少了权值的数量能够使网络易于优化，同时降低了模型复杂度，减小了过拟合的风险。
卷积神经网络是一种包含卷积层的网络模型，它由卷积层、池化层等构成。下面，我们将对卷积层和池化层进行简要阐述。
(1)卷积层
在卷积神经网络中，卷积层是最关键的组成部分，它可以整合和提取各种特征。通常，每个卷积层会包含多个卷积核，卷积核的数量与通道数相等，而其大小则决定了感受野的大小。
卷积运算相对简单，首先选取与卷积核大小相等的窗口矩阵从输入图像中提取特征，然后与卷积核对应位置进行逐元素相乘并求和，最后再加上偏置值，得到当前图像窗口的卷积结果。该过程如图2.1所示。
2.4 评价指标
为了评估本文研究的低光图像增强方法的优劣，对于增强后图像的质量评估是至关重要的。
就图像质量评价而言，通常可以分为主观评价和客观评价。主观评价是基于人眼主观感受对图像质量进行评价，而客观评价则采用数学方法计算各项指标的数值，用以评价图像的质量情况。在客观评价指标中，我们又可以将之细分为有参指标和无参指标。有参评价指标是指增强的过程中有原始图像进行参考对照，无参评价指标指的是在图像增强中不依赖于原始图像进行评价，而是根据图像自身的特性来评价。本文将综合运用主观评价和客观评价，对生成的图像质量进行全面的评估和分析。本节将会对客观评价指标峰值信噪比PSNR和结构相似度SSIM进行介绍。
2.4.1 PSNR
PSNR是峰值信噪比，它表示峰值信号的能量与噪声的平均能量之比，通常取对数以分贝(dB)来表示。
要计算PSNR的值，首先要获得图像的MSE的值。均方误差MSE是图像质量评价中最常用的方法，就是将增强图像和原始图像进行比较，逐个像素计算两幅图像之间的差距。
3 基于Retinex理论的多尺度注意力低光图像增强网络 .................... 18
3.1 引言 .................... 18
3.2 提出的低光图像增强网络 ..................... 18
4 基于多尺度特征融合的低光图像增强网络 ............... 28
4.1 引言 ............................. 28
4.2 提出的低光图像增强网络 .................... 28
5 总结与展望 .......................... 36
5.1 论文工作总结 ................... 36
5.2 研究展望 ........................ 36
4 基于多尺度特征融合的低光图像增强网络
4.1 引言
随着深度学习技术的发展，计算机视觉已广泛应用于各个领域，如自动驾驶、视频监控、物体检测、分类等。但是由于极端天气或者灰暗照明条件等因素，获取到的图像存在某些问题，例如亮度过低、失真程度较大和噪声过大，导致图像获取的信息减少。这些问题将降低图像处理算法的性能诸如物体检测和分类的算法无法达到预期的结果，甚至在自动驾驶领域造成生命危险。因此，有必要研究低光图像增强算法，这引起了许多研究人员的兴趣。
在本文的研究中提供了一种使用多尺度特征融合的低光图像增强技术，来克服一些以往算法增强的图像中出现的噪声、伪影和失真问题。
本文的主要贡献如下。
（1）本章提出了一种基于多尺度特征融合图像增强网络框架。为了丰富低光图像的有效信息，对低光图像进行非线性变化，将得到的变换图和低光图像进行融合送入所设计的网络模型中进行特征提取。
（2）网络框架中，通过构建特征提取模块（Feature Extraction Module，FEM）和多尺度特征增强模块（Multi-scale Feature Enhancement Module，MFEM）来提取和增强每个层的特征，并融合具有相同尺度的特征图，可以有效缓解网络下采样导致的特征损失。
（3）一个结合感知、结构相似度和颜色三项的损失函数被定义，以提高模型的增强效果。实验结果表明，该算法在不引起颜色失真的情况下有效地降低了图像噪声，并且评价指标高于其他技术。
5 总结与展望
5.1 论文工作总结
针对低光图像的属性，我们基于现有的深度学习和传统的物理模型，提出了两种不同的增强方法，本文的主要创新工作如下。
（1）提出了一种基于Retinex理论的多尺度注意力低光图像增强网络。该方法将深度学习理论和传统Retinex理论相结合，通过从大规模数据集中学习的先验知识来弥补学习过程中产生的细节损失和噪声放大的问题。其主要过程如下，首先，对低光图像进行转换，获得光照关注图，用以引导增强学习过程中关注的区域，并提供更加丰富的信息。然后，通过设计一个特征提取器，对低光图像和光照关注图提取局部和全局的特征，通过特征融合模块对提取的特征进行整合后获得逆光照图。最后，通过Retinex理论求解获得图像的反射率层，即增强结果。实验结果表明，本章提出的方法优于一些现有的方法，可用于恢复光照较暗条件下拍摄到的低光图像，并证明了设计模块的有效性和合理性。
（2）针对现有方法在增强过程中存在放大噪声、产生伪影、不同尺度信息无法共享等问题，提出了一种基于多尺度特征融合的低光图像增强网络，该方法首先对输入的低光图像进行非线性变换，并将其与输入图像融合，来达到低光区域中的信息增强，从而使网络能够学习更多的特征。随后，设计了一个多尺度特征提取模块，来提取不同尺度下低光区域的特征，强化了边缘、纹理等浅层特征和全局信息的深层特征。最后，通过连接提取的特征获得增强之后的结果。大量的数据实验结果表明，本章提出的方法优于一些较先进的方法，并可以恢复出良好的效果。
参考文献（略）