本文是一篇计算机论文，本文研究能够有效地减轻了当前主流方法中的前景颜色和背景颜色区域混合的问题，极大提高了颜色迁移模型的灵活性和准确性，为用户提供了更加舒适的直观视觉感受。
1绪论
1.1研究背景及意义
数字图像处理（Digital Image Processing，DIP）是把图像信息转换成数字信息，之后使用计算机对其进行分析处理的过程。数字图像处理开始于20世纪50年代，与计算机的发展时间几乎同频。正因为如此，研究者们开始使用计算机来研究图形和图像信息，使得数字图像处理于20世纪60年代初期慢慢形成一门学科。
图像研究的初期，核心目标是改善图像质量，目标是提高图像对于人们的视觉效果。传统的图像处理技术包括图像增强、修复、编码和压缩，通过对低质量图像进行处理增强，生成高质量图像。美国喷气推进实验室取得了第一个实际成果，该实验室在1964年太空探测器7号发回的数千张月球照片上，使用了几何校正、灰度变换和去噪等图像处理技术，来研究太阳位置和月球环境，然后使用计算机制图，这是一项成功的重大成果。随后，利用更先进的图像处理技术对着陆器发回的近10万张照片进行了深度分析处理，制作了月球的地形图，为人类首次探索月球奠定了基础，并促进了数字图像处理学科的发展。另一个重大的突破是在1972年医学应用上，就职于EMI公司的工程师豪斯菲尔德发明了一个适用于诊断颅骨的图像生成系统，通过X射线计算机断层扫描系统（称为计算机断层扫描）来生成颅骨图像。1975年，他还成功开发了一个全身CT扫描仪，对整个身体进行成像。目前图像处理技术广泛应用于工程医学、工业测试、机器视觉、公共安全和司法、军事训练、文化和艺术等方方面面，成为一门令人印象深刻、前景广阔的新学科。数字图像处理技术是图像处理技术的重要分支和发展方向，是信息科学、工程学、医学、遥感技术、地质学甚至社会科学等许多学科的重要基础，同时也是一种具有巨大经济和社会效益的实用技术，能够广泛应用于军事、气象、交通、探矿、水利、农业甚至娱乐等领域。
1.2国内外研究现状
国外在这一领域研究颇多，在早期的颜色迁移方法主要是由用户手动调整。这种处理方法具有高度的时间复杂性以及需要大量的用户互动。2001年，Reinhard等人[1]开创了一种全自动的图像颜色迁移方法技术，它可以根据给定的参考图像和目标图像，自动将参考图像的颜色迁移到目标图像上，该方法实现简单，效率高。近年来，许多研究人员提出了传统的图像颜色迁移方法，如基于统计信息（如颜色平均值和方差）的颜色迁移，基于语义的颜色迁移以及用户辅助的涂鸦、色板等颜色迁移方法。而最近深度学习的火热，研究者把注意力转移到基于深度学习的颜色迁移方法说，通过使用深度学习模型来学习参考图像和目标图像之间的颜色对应关系。Lee等人[4]提出了基于深度神经网络和颜色直方图进行颜色转移的模型，颜色直方图包含了图像的基本颜色信息，该网络利用了目标图像和参考直方图之间的颜色类比关系，用参考图像的抽象颜色特征来调节目标图像的颜色。Gatys等人[39]提出了一种颜色风格的迁移神经算法，使用从卷积神经网络提取的颜色特征表示，并对目标识别进行优化，明确了高水平的图像特征信息，分离和重新组合自然图像的内容和风格，进而能够产生具有高感知质量的新图像。
国内在这一领域也做了很多研究，例如，胡国辉等人[5]在Reinhard的工作基础上提出了自适应颜色迁移方法，利用经典的统计分析方法和自适应采样分析，将彩色图像的局部和全局、颜色信息与目标图像的形状信息相结合，合成一个全新的图像。赵国英等人[6]采用了一种基于高阶矩的颜色迁移算法，引入了倾斜度和峰度等高阶矩，用功率和模式变换调整输出图像数据的倾斜度和峰度，使其更接近目标图像的分布，图像的颜色偏移也就更好。尉迟姝毅[8]在传统颜色迁移算法的基础上，引入反向映射对颜色迁移算法进行优化，通过对图像的特征提取，获得目标图像的主色，对提取结果做平滑处理，通过色彩空间转换和色调反向映射两个步骤，实现图像的形态学变换，通过分层迁移和全局迁移两种方式进行颜色迁移。不仅如此，国内还有众多颜色迁移的研究，如采用经典机器学习算法用于颜色迁移的工作，比如王飞龙等人[73]提出的基于DBSCAN聚类算法的颜色迁移方法，谭永前等人[75]提出基于拉普拉斯算法颜色迁移工作。同时还有基于图像颜色空间变换进行颜色迁移的工作[74]，也有基于深度学习，利用卷积神经网络特性，搭建颜色迁移模型的工作[76]。
2相关技术
2.1基于统计的颜色迁移
根据颜色映射的范围，统计颜色迁移方法可分为两类，即全局颜色迁移和局部颜色迁移。全局颜色迁移方法[1][7][72][78]利用全局颜色统计学来实现图像之间的颜色迁移。Reinhard等人[1]提出了基于lαβ的全局颜色迁移方案的先驱工作，开创了统计学习方法在颜色迁移领域的先河，该方案主要是通过全局颜色的均值和方差来进行颜色迁移。Pitie等人[7]通过应用设计的新型连续变换方法将参考图像的N维分布映射到目标图像上。Pitie等人[9]构建了一个一对一的颜色映射，将示例目标图片的调色板迁移到原始图片上。Pouli等人[10]引入了不同尺度的直方图分别考虑粗略和精细的特征来进行颜色迁移。Wang等人[11]用足够多的例子学习了隐性映射，用于全局颜色迁移。Abadpour等人[12]和Xiao等人[13]使用主成分分析（Principal Component Analysis，PCA）来计算输入图像的相关颜色空间。Chang等人[14][15]将颜色分为基于感知的类别，然后在此分类的基础上通过将产生的颜色限制在类似的类别中进行颜色迁移。Su等人[16]提出了一个自我学习的过滤方案和一个多尺度的细节处理方案来构建目标图像和参考图像之间的概率颜色图。全局颜色迁移主要是根据选定的统计信息来设计的，很难避免以下两个问题：（1）如果目标图像或参考图像包含不同颜色的区域，全局迁移方法容易造成局部颜色混淆；（2）如果两幅图像的颜色分布差异很大，结果容易出现不自然和饱和的lαβ颜色空间
为了克服上述限制，人们提出了许多基于局部空间关系的局部颜色迁移算法。对于这些算法，首先从参考图像到目标图像中获得有代表性的颜色，如主导色[17][18][20]，特征点颜色[21]。然后，建立目标图像和参考图像之间的颜色对应关系。Tai等人[19]提出了一种基于概率分割的局部颜色迁移模型，该模型通过概率对目标图像和参考图像进行分割，然后使用高斯混合模型对不同区域的成分分别建模。Xia等人[22]提出了一个显著性引导的图像迁移模型，该模型得到了目标图像和参考图像的显著区域的颜色信息，并建立了相应的颜色迁移关系。Wen等人[23]利用参考图像和目标图像中的草图来定义相应的区域。Yoo等人[24]通过利用他们的主导颜色应用统计迁移来寻找两个图像之间的局部区域对应关系。Li等人[25]提出了一种局部颜色迁移方法来提取显著区域。Xiao等人[26]采用直方图匹配和颜色梯度优化的局部颜色迁移方法，缓解了颜色迁移在场景细节和颜色方面的保真问题。
2.2基于语义的颜色迁移
为了提高颜色迁移的性能，许多研究者试图在目标图像和参考图像之间建立语义对应关系，从而提高颜色迁移过程的准确性和灵活性。基于密集对应的颜色迁移工作，HaC ohen等人[5]提出利用改进的GPM[27]获得语义对应区域通过聚合一致区域，将一致匹配区域从粗到细进行聚类找到图像的密集对应，然后通过学习对应区域之间的全局颜色变化完成图像颜色迁移，考虑到补丁对应和密集点对应都很耗时，一些研究者提出使用基于稀疏对应的颜色迁移算法。Park等人[6]提出了一种基于SIFT关键点匹配的颜色迁移方法，根据一系列图像特征构建颜色矩阵以适应局部特征描述，然后通过矩阵分解计算颜色参数以建立颜色迁移模型。
除了密集对应和稀疏特征的语义对应方案外，Tai等人[19]和Hristova等人[28]采用了进行风格迁移的局部方法，通过考虑其主要风格特征，将两幅图像划分为高斯分布的集群，这些特征是通过分类步骤自动确定，利用最大期望算法来寻找图像中的对应颜色集群。Arbelot等人[29]提出了一个统一的框架，使用图像的区域协方差的边缘感知纹理描述符来建立对应关系并进行引导性的颜色迁移。Gao等人[31]提出通过使用多标签语义来感知驱动的墙纸纹理生成和风格迁移的框架，在该框架中感知模型被训练来识别生成器网络产生的壁纸是否足够逼真并具有给定的感知描述所指定的属性，这些多标签语义属性被当作条件变量来生成壁纸图像，并将其成功用于颜色迁移工作中。Liao等人[32]提出了一种新的语义语境感知的图像风格迁移方法，该方法通过实现语义语境匹配来进行风格迁移。Li等人[33]为了实现语义语境感知的风格迁移，提出一个分层的局部到全局网络架构，其中包含两个子网络，包括本地语境网络和全局语境网络。前者专注于从风格图像到内容图像的每个语义语境对的风格迁移，并生成一个本地风格迁移图像，存储相应语义区域的详细风格特征表示。
3基于改进多尺度锚框的实时实例分割深度模型.............................12
3.1分割模型.....................................12
3.1.1基础模型.......................................13
3.1.2损失函数.........................................14
4基于显著性引导的亮度优化颜色迁移深度模型................................18
4.1分离模型...................................18
4.2颜色迁移模型....................................19
5总结与展望..................................31
5.1总结.......................................31
5.2展望.......................................31
4基于显著性引导的亮度优化颜色迁移深度模型
4.1分离模型
为了更好地获取显著性的图像目标前景区域，本文设计一个基于显著性引导的分割模块。其中显著性检测模型U2-Net[52]主要架构是一个两层嵌套的U结构，可获得更加有效的局部和全局特征信息，它使用RSU块嵌套U结构，这使得深度网络可以由浅层入深层进行特征建模，而不需要考虑图像的分辨率大小。回望过去的发展，U2-Net相比较于目前常见的显著性检测网络模型，U2-Net可以从无到有地进行训练，并根据目标环境的约束配置不同的模型大小，非常适合用于做图像的显著性区域建模，在目前6个公开显著性目标检测数据集上的实验结果表明，该模型在定性和定量两个方面都达到了非常有竞争力的性能，与其他多种先进的显著性检测方法相比。
具体来说，本文先是采用改进后的实例分割模型去获得参考图像和目标图像中，各自所有的实例信息，然后利用显著性目标检测网络U2-Net[52]建立参考图像和目标图像的显著性区域S。基于S和目标掩码的中预测值最高的前5名掩码分别计算出实例与显著性区域之间的交并比IOU值，其中IOU值能够用于筛选符合阈值的多目标实例。因此，本文的分离模块可以得到符合要求的显著性多目标掩码，并用于分割参考图像和目标图像的前景信息，为后期颜色迁移工作做好了充分的准备。
5总结与展望
5.1总结
通过对颜色迁移领域国内外发展情况调研，我们发现在受制于摄像设备的性能和复杂的环境条件复杂的环境条件，目标图像的视觉质量不能保证满足要求。在实践中，为了获得高质量的图像人们提出了一系列的图像增强技术改善图像的特性，包括对比度、颜色、分辨率、清晰度等。作为图像增强的一种类型，颜色转移的目的是改善图像的视觉质量颜色，在不同的图像之间建立了颜色映射功能，并将参考图像的颜色与其他图像的颜色进行转换，它在不同的图像之间建立颜色映射功能，并将具有良好质量的参考图像的颜色转移到目标图像上，优化其颜色和亮度，被广泛地应用于各种应用，包括计算/数字成像系统、医学测试、文物修复等。
现有绝大多数研究其基本假设是图像之间的颜色可以通过全局颜色的对应来实现转移。一旦建立了对应关系，颜色转移就可以通过相关的全局颜色映射函数来实现。该方案反映了全局中准确的颜色分布特性，并保持颜色的一致性。但是局部颜色分布属性和语义对应关系被忽略了。因此，它限制了相关任务中颜色转移的灵活性和精确性，并使得极其容易出现显著性区域的混色情况。
出于以上考虑，本文提出了一个改进的实例分割模型工作和一个新颖显著性引导的颜色迁移深度网络模型。其中颜色迁移模型引入了改进的目标分割模型和自适应亮度优化模型，对分离出的前后景区域进行独立语义颜色迁移和亮度优化的颜色融合，提高了整体的颜色迁移效果。同时，通过随机筛选的方式得到的实验评估数据集，确保数据的普遍性。在此基础上，从直观的定性实验效果图及定量的实验数据两方面实验结果表明，本文所提出的研究方法要明显优于现有方法，本文研究能够有效地减轻了当前主流方法中的前景颜色和背景颜色区域混合的问题，极大提高了颜色迁移模型的灵活性和准确性，为用户提供了更加舒适的直观视觉感受。
参考文献（略）