本文是一篇计算机论文，本文的主要贡献如下： （1）通过机器学习的方法，提出了基于 GBR 的码率自适应模型。通过将视频分割为用户关注区域部分和非用户关注区域部分，以及分析 MAR 应用所拍摄的视频内容和当前网络状态，预测出符合当前需求下的码率配置，并使用此码率配置对拍摄内容的用户关注区域部分和非用户关注区域部分进行码率控制，以权衡用户体验需求与应用能效优化需求。通过与现有的对于 MAR 应用能效优化研究的对比来说，本文所提出的模型主要驱动目标是以保证用户体验为先，并且 MAR 应用通过使用本文所提出的预测模型得到的码率配置进行码率控制后，在 MAR 应用中的数据传输过程与下载原始视频相比，平均时延优化了 58%(19.13ms)。
第一章 绪论
1.1 研究背景及意义
由于目前智能手机等移动端设备的技术革新，例如设备计算性能的提升、5G 通讯技术的日渐成熟等，越来越多的移动应用将目光投注于为用户提供更优的服务及使用体验上。可以最为直观的展现此类优质的用户体验的应用必然是虚拟现实技术（Virtual Reality, VR）及增强现实技术(Augmented Reality, AR)，从某种程度上可以认为它们的产生与发展为用户带来了前所未有的观感体验，尤其在教育[1]、医疗[2]、娱乐[3]等领域更是被广泛应用。特别的，在 2019 年国家发展和改革委员会甚至将 VR 和AR 列入了“鼓励类”产业[4][5]，正是因为它们有利于满足人们美好生活的需求，这更加表明国家对 VR 和 AR 产业的支持。对比 VR 与 AR 两种应用可以发现，VR 对特定硬件设备具有依赖性（如 VR 头盔，眼镜等），反观 AR 则可应用于一般的智能移动设备中，因此 AR 的用户受众面更为广阔。据报告显示[6][7]，在 2018 年 AR 应用的安装量就到达了 8.5 亿次，预计在 2023 年其安装量将突破 23 亿次；与此同时，相较于 2018 年，2019 年的 AR 领域公司数量更是增加了 33%。由此也可看出，AR 应用具有非常广阔的市场，因此针对 AR 应用的研究是具有现实意义的。
而在众多的 AR 应用中，移动增强现实应用（Mobile Augmented Reality, MAR）由于利用了移动设备的便捷性，已成为 AR 应用的中流砥柱。MAR 指的是利用移动端摄像头及传感器获取用户当前环境实时数据，通过对图像中的目标物体进行实时检测以及动画渲染将真实世界同虚拟图像相结合，最终呈现给用户可以进行交互的融合世界，为用户提供更好的使用体验的应用程序。例如在线视频会议和网络直播等都在其中使用了 AR 技术：通过在云端对拍摄的实时画面进行检测和渲染，为这些真实的画面中添加特效等虚拟元素，将此类虚拟图像与真实的场景相结合，转播给其他参与用户，为用户带来更好的使用感受。
..............................
1.2 国内外研究现状
随着增强现实技术的发展和移动设备性能的提升，工业界和学术界一直探索如何为移动用户提供高质量的增强现实服务[13][14]。但由于 AR 任务的复杂性[15]，往往计算密集型的 AR 任务如目标检测、追踪渲染等操作需要上传到服务器端完成，同时高质量的 AR 服务需要在服务器端进行渲染处理这导致了海量的数据需要被传输，而不稳定的网络环境无法保证用户的实时体验，高延迟的响应又严重增加了移动设备的能耗负担，因此出现了一系列的研究来对 MAR 应用的能效问题做出探索。
国内外的研究人员通过对 MAR 应用进行分析，基于其任务的复杂性，通常会将计算密集型任务卸载到云端或者边缘端的设备上完成，以提升系统整体性能。文献[16]就通过对 AR 的上行链路进行分析从而提出了资源分配方案：将一些任务迁移到边缘端进行计算，减少本地资源的消耗。与此同时，Zhang[17]等人同样将计算密集型任务卸载到云端，利用云端的高性能进行目标检测工作，并且在移动端上部署了一套轻量级的跟踪系统，使得 MAR 可以达到 30fps 的帧率，以此来保证一定的用户观看体验以优化其能效。而 Ruan[18]等人通过构建数据驱动的 MAR 优化框架，权衡对视频质量、能量消耗、识别精度、传输延迟、网络条件的不同需求，最终选择适合的模型进行物体的识别与追踪。
虽然上述所说的工作通过强大的云端和边缘端设备可以显著提高 MAR 性能，降低本地移动设备的 CPU 成本，但是将高质量的视频帧卸载到服务器也会大大增加端到端的延迟。因此 Liu 等人[19]针对 MAR 应用中高识别率与低传输延迟的要求，根据前一帧的用户感兴趣区域，通过深度神经网络来预测下一帧的用户感兴趣区域，以此调整每一帧中宏块的量化参数，将每帧的感兴趣区域上传至边缘设备进行检测任务，从而减少上传数据降低能耗，以提高 MAR 的性能。但该方法只针对上行链路的传输进行优化并未涉及到下行链路的优化，且驱动目标是提高识别准确率。
....................................
第二章 相关技术及理论
2.1 MAR 工作机制
MAR 是一种通过在对移动端设备获取到的内容上叠加一系列的虚拟元素，将真实世界和虚拟世界互相结合起来，为用户带来前所未有的使用体验的应用程序。而一般来说 MAR 工作分为两种[33]：不需要在云端进行现实世界与虚拟元素叠加渲染的AR 应用例如汽车的抬头显示（HUD）等和需要在云端进行现实世界与虚拟元素叠加渲染的 AR 应用如在线视频会议，网络直播等。
对于第一种无需在云端渲染的 AR 应用，其一般的工作流程如图 1 所示：通过透明的头戴式显示设备等光学组合器可以让用户通过光学方法叠加虚拟物体到真实的场景上。首先通过将透明的光学合成器放在用户眼前，使得用户通过它们可以直接观看到真实世界；其次，通过云服务器生成虚拟图像；最终通过合成器的反射功能在上面呈现虚拟图像，将真实世界与虚拟图像相结合。
图 1 本地 MAR 的工作流程
...................................
2.2 MAR 能效优化研究
现阶段国内外对于 MAR 能效的优化研究主要在任务卸载和视频流控制两方面展开；同时对于系统的能效优化目前主流的方法是通过使用机器学习的方法进行优化。因此，本节将从以下三个方面对 MAR 能效优化研究进行介绍。
2.2.1 基于任务卸载的能效优化
基于任务卸载的能效优化是通过对 MAR 应用进行分析，将计算密集型、复杂度高的任务从本地移动设备卸载到云端或者边缘端进行执行操作，以降低在本地执行的资源消耗，从而提升系统的整体性能。
一般而言，针对 MAR 的任务卸载优化主要是通过更改资源分配方案，来减少移动端的资源消耗。通常类似目标检测、物体追踪、动画渲染等计算密集型的操作会被卸载到云端或边缘端，利用云端等的高性能这一特点完成这些计算密集型的任务；更有甚者会进一步在云端构建优化框架，以 MAR 应用的不同需求为驱动来对物体追踪等操作进行优化，从而达到提升 MAR 性能的目标。
虽然基于任务卸载的能效优化能有效减少移动端的资源消耗，但是考虑到将任务卸载到云端会有大量的数据需要进行传输，而不稳定的网络环境无法保证用户的实时体验，且高延迟的响应又会增加移动设备的能耗负担，因此需要对 MAR 的能效优化做进一步研究。
..................................
第三章 基于码率自适应的 MAR 能效优化模型 ................................ 15
3.1 MAR 的能效问题 ....................................... 15
3.1.1 视频流码率对 MAR 的能效影响 ........................................... 15
3.1.2 网络环境对 MAR 的能效影响 ........................................... 18
第四章 基于用户体验的码率自适应模型迁移策略 ...................... 37
4.1 迁移学习 ................................. 37
4.2 用户反馈机制 ........................................ 38
4.3 基于用户体验的模型迁移策略 ................................ 40
总结与展望 ............................ 49
总结 ............................................. 49
展望 ................................................. 50
第四章 基于用户体验的码率自适应模型迁移策略
4.1 迁移学习
迁移学习[61]是一种新型的学习模式，其主要目标是将已在某个领域（可称之为源域）上学习到的较为成功的模式运用到与之相关联但并不完全一致的其他领域中（可称之为目标域），以达到在目标域中也拥有较好的学习效果。如图 31 所示为迁移学习的工作原理，即通过学习源域的工作模式将其应用于目标域之上。
图 31 迁移学习工作原理
一般来说，机器学习通常只会构建一个普适化的模型以尽可能的通用于一般场景之中，而为了满足不同的用户、不同的环境下的不同需求，则需要提高普适化模型的泛化能力，也就是说需要解决它与个性化需求之间的矛盾，这就需要使用迁移学习。并且通过使用迁移学习可以显著降低传统机器学习的所耗费的硬件资源，因为无需为了满足用户个性化需求而为每位用户单独构建模型。
在本文中，首先采取普适化的通用模型解决系统的冷启动问题，并在系统使用前期通过收集用户数据精准针对普适化模型无法提供给用户个性化的使用需求的问题采取迁移学习方法，以用户数据对普适模型进行迁移学习来为每位用户满足其不同的需求。通过迁移学习不仅可以降低为用户单独建模带来的不必要的开销，同时还可以满足用户的个性化需求，为用户带来更好的观看体验。
..............................
总结与展望
总结
随着近年来移动设备性能的发展与 5G 通讯技术的不断成熟，基于移动设备的增强现实（Augmented Reality, AR）应用也越来越多，已经在用户下载排行榜上占据一席之地。但是，由于移动设备本身的资源局限性，在移动端使用 AR 应用依旧是一个消耗大量资源活动。虽然前人在此方面进行了研究，可以通过将部分计算密集型任务迁移到云端进行操作，节约了部分的本地计算资源，但是从云端下载渲染后的视频也同样带来了资源的消耗。目前，少有工作是对于 MAR 应用的视频下载过程进行优化的，并且同时并未考虑到用户体验以及用户对需求上存在的差异。因此，本文针对MAR 应用在视频下载过程中的能效问题，以权衡用户体验和能效优化为目的，提出了一种码率自适应的 MAR 能效优化方法，并在此方法的基础上通过增加用户反馈机制，对用户需求进行深入分析，从而提出一种模型迁移的方法来满足每位用户的不同需求。
本文的主要贡献如下：
（1）通过机器学习的方法，提出了基于 GBR 的码率自适应模型。通过将视频分割为用户关注区域部分和非用户关注区域部分，以及分析 MAR 应用所拍摄的视频内容和当前网络状态，预测出符合当前需求下的码率配置，并使用此码率配置对拍摄内容的用户关注区域部分和非用户关注区域部分进行码率控制，以权衡用户体验需求与应用能效优化需求。通过与现有的对于 MAR 应用能效优化研究的对比来说，本文所提出的模型主要驱动目标是以保证用户体验为先，并且 MAR 应用通过使用本文所提出的预测模型得到的码率配置进行码率控制后，在 MAR 应用中的数据传输过程与下载原始视频相比，平均时延优化了 58%(19.13ms)。
（2）由于用户的个体差异性导致用户体验的不尽相同，因此，本文通过探索 MAR应用中的用户体验部分，建立了用户反馈机制，并提出一种可以使用用户体验数据来对模型进行迁移学习的方法。通过前文所述的工作建立一个基础模型，在此基础上通过用户反馈机制收集用户数据对基础模型进行重训练，对其参数进行微调，使得进行了迁移学习后的模型可以预测出更加符合用户观看习惯的码率配置。实验结果表明，通过迁移学习后的模型在用户体验方面比基础模型提高了 3%，与此同时，在 MAR应用中的数据传输过程中平均可以节约传输时延 56%（18.47ms），能效优化的表现力与基础模型的表现同样好。
参考文献（略）