本文是一篇计算机论文，本文在先进的光流估计算法基础上，进一步提出了两种创新的光流估计模型，并在基准数据集上通过实验验证了这些模型的有效性。
1 绪论
1.1 研究背景及意义
光流（Optical Flow）的概念最早可以追溯到20世纪中期，由心理学家Gibson在研究中首次提出[1]。随后，这一概念在计算机视觉领域用于描述图像序列中由于场景中物体的运动或者观察点的移动而在图像平面上产生的像素点的视觉流动模式。具体来说，光流是指在连续的视频帧之间，图像中每个像素点在空间中的运动矢量组合起来形成的一个运动场[2]，可以用来估计和表示图像中物体的运动。光流不仅能够提供物体运动的速度和方向信息，还能够反映出场景的三维结构和相机的运动信息。
近年来，随着计算能力的大幅提升和大量数据集的可用性，深度学习技术开始迅速兴起，极大地推动了人工智能领域的发展，特别是在目标跟踪[3]、目标检测[4]和语义分割[5]等领域取得了突破性的成就。通过利用复杂的多层神经网络，深度学习能够从海量数据中自动提取高级特征和模式，从而在图像识别、语音识别、自然语言处理和许多其他任务中取得了突破性的进展。这些技术不仅提高了任务处理的准确率，还扩展了机器学习应用的范围，包括自动驾驶车辆、医疗诊断支持系统等领域，展示出巨大的潜力。
随着深度学习技术的融入，光流估计的精确度和应用范围都有了显著的提升。光流不仅是理解物体运动、场景变化的基础，而且在视频编码[6]、增强现实[7]、自动驾驶[8]等领域中也发挥着至关重要的作用。例如，在自动驾驶系统中，车辆利用安装在车上的摄像头和传感器收集环境数据，并通过深度学习模型对这些数据进行实时处理，估计光流，以捕捉车辆周围环境中的物体运动信息，如其他车辆、行人和障碍物的速度与方向。准确的光流估计能够帮助车辆理解周围环境的动态变化，预测其他车辆和行人的移动趋势，操作系统进而做出减速或变道的决策，从而做出安全的驾驶决策，以保持行车安全和流畅。
1.2 国内外研究现状
1.2.1 传统光流估计算法
虽然Gibson和Wallach等人虽然提出了光流概念，但是没有提供具体的解决方案。直到1980年代，光流算法的研究才开始取得实质性进展。1981年，Lucas和Kanades设计了Lucas-Kanade算法[11]，同时，Horn和Schunck提出了以他们名字命名的Horn-Schunck算法[12]。这两种算法开启了光流算法的现代发展，并为后续的研究奠定了基础。
早期的光流估计算法可以分为稠密光流算法和稀疏光流算法两大类。稠密光流算法计算图像中每一个像素点的运动，而稀疏光流算法只关注图像中的特定特征点，如角点等。最初，Lucas-Kanade算法被设计为一种稠密光流算法，但很快，研究者们发现它可以被简化为一种稀疏光流算法，这大大减少了计算量，该算法在工业中得到了广泛使用。相对地，Horn-Schunck算法是一种典型的稠密光流算法，它在每次迭代中更新所有像素点的光流信息，因而能够提供更为全面的动态视觉信息。此外，Horn-Schunck算法还引入了变分法来求解光流问题，这成为后续传统光流算法中的一种主流方法。变分法通过构建一个包含数据项和空间项的能量泛函来工作，其中数据项基于亮度恒定假设[13]，空间项则假设光流在空间上是平滑的。这一方法的目标是找到能使能量泛函达到极小值的光流场。
2 相关研究理论基础
2.1 卷积神经网络
卷积神经网络是一种深度学习架构，广泛应用于图像识别、视频分析、自然语言处理等领域。一个典型的CNN包括输入层、卷积层、激活层、池化层、全连接层等。卷积层是CNN的核心，通过卷积操作从输入数据中提取特征，每个卷积核专注于捕捉输入数据的局部特征。通过堆叠多个卷积层，网络能够学习到从简单到复杂的特征层次。激活层通过引入非线性，使得网络能够学习复杂的数据表示。池化层负责降低特征维度和减少计算量，同时保持特征的空间层次关系。全连接层则将学习到的高层特征映射到最终的输出，如分类标签。
CNN的一大优势是其参数共享和稀疏交互的特性，这使得网络在处理图像等高维数据时更加高效。参数共享减少了模型的复杂度和训练中需要学习的参数数量，提高了训练效率。此外，CNN具有很好的泛化能力，能够在不同的任务和领域中取得卓越的性能。
2.1.1 卷积层
卷积层是CNN的核心组件，负责从输入图像中提取特征。卷积操作如图2-1所示。在卷积层中，通过对输入数据应用多个不同的卷积核进行特征提取。卷积核在输入图像上滑动，在每个位置，卷积核与输入数据在对应位置进行逐元素相乘，并将结果相加，得到输出特征图中的一个元素。在对输入数据的所有位置都进行卷积之后，便得到了输出特征图，这一过程可以捕捉到输入数据的局部依赖关系以及图像空间的层级结构。
2.2 光流估计经典算法
前一部分对神经网络的基础组成部分进行了概述。要将这些基础元素有效地应用于实际的应用场景中，关键在于它们的有效组织方式。特别是在计算机视觉领域，为了适应特定任务的需求，设计神经网络时不仅需要重视其对图像特征的提取能力，而且还要充分考虑到网络进行反向传播的效率。此外，网络设计时还需综合考量多个关键因素，包括训练效率、计算需求、模型规模以及损失函数的选择等。接下来，本文将介绍几个经典的光流估计网络框架。
2.2.1 FlowNet网络
在2015年，Dosovitskiy等人[25]首次将卷积神经网络引入到光流估计任务中，提出了FlowNet模型，这是光流领域的一次重要突破。他们的研究成果展示了CNN在光流估计任务中的潜力。FlowNet实现了每秒10帧的光流预测速度，几乎达到了实时处理的水平。FlowNet直接从图像数据中学习预测光流，为使用深度学习解决传统视觉问题开辟了新途径。网络的整体架构如图2-4所示，光流估计任务可以被认为是网络对输入数据进行编码和解码的过程。FlowNetC网络和FlowNetS网络是两种旨在实现光流端到端估计的网络结构，它们之间的主要区别在于各自采用的特征编码策略不同。
3 基于混合粒度特征提取和自引导式注意力机制的光流估计算法 .. 17
3.1 引言 ....................................... 17
3.2 设计思路 ............................. 17
4 基于 Mobile Net 和注意力机制的轻量光流估计算法 .................... 43
4.1 引言 .................................. 43
4.2 算法介绍 .................................... 43
5 总结与展望...................... 61
5.1 工作总结 .......................... 61
5.2 展望 ......................... 61
4 基于MobileNet和注意力机制的轻量光流估计算法
4.2 算法介绍
4.2.1 总体结构
本文为了增加模型在资源受限设备上部署的可能性，采用Teed等人提出的RAFT（small）模型[30]作为基线网络，此模型相比于标准模型RAFT减少了匹配特征和上下文特征的通道数，迭代更新算子也更加轻量。
本章网络的总体框架如图4-1所示，网络主要由五个模块组成，分别为匹配特征提取网络（红色虚线框内）、上下文特征提取网络（黑色虚线框内）、相关量增强模块（蓝色虚线框内），门控循环单元GRU（紫色虚线框内）和上采样模块（绿色虚线框内）组成。首先，将第一帧图像和第二帧图像送入匹配特征提取网络中提取匹配特征，同时将第一帧图像送入上下文网络中进行上下文特征提取。来自两个图像帧的匹配特征通过矩阵相乘得到4D的相关量矩阵，通过一定的索引方式从4D相关量中索引得到相关量特征。相关量增强模块通过对相关量特征施加注意力，从而将较为重要的匹配特征点与其他特征点区分开，得到增强的相关量特征。将相关量特征、上下文特征和光流图送入门控循环单元，输出增量光流。增量光流通过上采样模块进行上采样，使其分辨率与原始图像帧的分辨率相同并叠加到之前预测的光流中，其中初始光流设置为0。到达一定的迭代次数之后，将所有光流增量相加，得到最终的光流图。接下来，将详细介绍网络中的每个模块。
5 总结与展望
5.1 工作总结
光流技术作为计算机视觉领域的一个核心问题，一直以来都是研究的热点。它通过分析图像序列中像素点的运动，实现对物体运动的捕捉和理解。随着深度学习的兴起，基于深度学习的光流估计方法开始受到广泛关注，其通过强大的学习能力显著提升了光流估计的准确性和鲁棒性。本文在先进的光流估计算法基础上，进一步提出了两种创新的光流估计模型，并在基准数据集上通过实验验证了这些模型的有效性。具体内容如下：
（1）提出一种基于混合粒度特征提取和自引导式注意力机制的光流估计算法
本文针对光流估计在处理复杂场景时精度较低的问题，提出了一种基于Transformer的光流估计框架——TSGFlow。通过深入分析现有Transformer特征提取网络的局限性，本文重新设计了特征提取策略，采用了粗粒度和细粒度的特征提取机制，并引入自引导式注意力机制。这种机制根据特征的重要性进行聚合，使网络更加关注具有复杂语义的特征，从而减少不必要的计算开销，在有效降低模型复杂度的同时保证光流估计的精度和效率。
（2）提出一种基于MobileNet的轻量型光流估计算法
现有的轻量光流估计算法虽然在资源受限的环境下运行速度较快，但估计准确度较低，无法满足日益增长的应用需求。为此，本文提出了一种精度较高的轻量级光流估计框架——MobileFlow。为了解决RAFT（small）模型中特征提取层较浅导致提取到的匹配特征语义信息较少的问题，本文提出了MoT特征提取网络，通过融合MobileNet的轻量化策略和Transformer的强大全局建模能力，增强了网络对于动态场景中复杂运动模式的理解和处理能力。其次，本文在相关量特征中引入注意力机制，使模型区分不同匹配特征的重要性，优先响应拥有更高相似度的向量，加速网络的收敛过程。最后，本文设计了一种可学习的动态上采样器，通过动态调整上采样过程中的参数，根据输入数据的具体特征进行优化，这种上采样器可以适应不同的场景变化，在上采样过程中恢复光流图的高频细节，有效地降低了光流在上采样过程中产生的平均端点误差。
参考文献（略）