这是一篇管理科学与工程博士论文代写范文，投资组合管理;投资组合优化;交易成本;风险管理;深度学习;强化学习;金融;证券;投资;管理学为研究论点.本文对所研究的投资组合管理及优化任务中的问题进行了深入探 索，并提出了解决方案。未来研究将重点探索更有效和更通用的基于强化学习和投 资组合理论的投资组合优化方法。本文将聚焦更先进的深度学习方法在量化金融 中的应用与结合等新方向的研究。
目录
摘要
ABSTRACT
第1章 绪论
本章首先阐述智能投资组合管理及优化的研究背景，系统分析该领域的研究 价值与现实意义，深入剖析当前面临的关键问题与技术挑战。在此基础上，本研究 提炼出核心科学问题与研究目标，并阐明其在理论创新与实践应用两个维度的重 要贡献。随后，通过对投资组合管理、智能投资组合优化、影响投资组合优化的因 素等相关文献的全面综述，指出现有研究的不足与局限，进而明确本研究的创新突 破点。接着，围绕核心研究问题详细阐述本文的主要内容与整体框架设计。最后， 完整呈现本研究采用的技术路线与方法论体系，为后续研究奠定基础。
1.1研究背景及研究意义
1.1.1研究背景
近年来，我国经济总体回升向好，科技成果实现新的突破，创新能力也在持续 提升。2023年10月，中央金融工作会议强调了金融在国家核心竞争力的重要地位， 会议指出要加快建设金融强国，全面加强金融监管，完善金融体制，优化金融服务， 防范化解风险。为保障投资者不断增长的投资需求和实现市场上经济的良性循环， 实现金融资产的有效配置并分散金融风险是金融领域的核心问题。提高资产收益 率、降低投资组合交易成本和风险、实现对投资组合的妥善管理，对稳定金融市场 和完善金融服务具有重要意义。
2022年1月，中国人民银行发布《金融科技发展规划》1，突出金融创新与 科技融合发展，注重金融领域的科技驱动和数据赋能，强调在资产管理领域应用 人工智能技术的重要性，推动建设智能化风险管理机制。智能投资管理是金融科 技创新的重要形式之一，目的是利用深度学习（Deep Learning,DL）和强化学习 （Reinforcement Learning,RL）等先进技术，通过对大量金融数据的自动分析、模式 识别与优化，提高投资效率和资产管理水平。智能投资管理在我国创新驱动发展 战略中扮演重要角色，对我国金融业高质量发展具有重要意义[1]。人工智能技术正 在深刻改变金融投资领域，提高市场分析能力、优化投资组合、增强风险管理，并 推动智能投资发展，例如招商银行、京东金融等，人工智能技术在金融投资领域发挥重要作用。金融市场将更加智能化、自动化，并具有更强的适应性，从而推动金 融行业的创新和发展。
金融市场受到宏观经济变化、投资者情绪波动及政府政策调整等多重因素的 影响，导致金融资产价格剧烈波动，并伴随较高的噪声特性，使市场呈现出非线 性、不平稳性和高度复杂性的特点[2]。此外，近年来金融大数据的快速发展，使得 投资组合管理及优化对计算能力、数据分析水平及存储技术提出了更高要求，从 而进一步增加了投资组合管理相关领域研究的挑战性[3]。因此，对投资组合的管 理和决策需要对金融信息进行有效的理解和建模。投资组合管理决策的目标是动 态地分配长期收益，实现投资组合中收益与风险之间的有效权衡[4]。投资组合管理 （Portfolio Management）过程可以看作是信息交互和执行过程。信息价值与执行成 本差值就是投资者想要捕获的价值。然而，投资组合管理涉及广泛的数据处理与复 杂的计算过程，涵盖金融预测、投资决策分析和资产配置优化等多个环节，是一个 十分复杂的非结构化决策过程。此外，投资组合优化（Portfolio Optimization）作为 现代金融投资管理与创新的重要手段，不仅提升投资决策的科学性和精准度，还在 技术创新的推动下，促使投资管理模式发生深刻变革。投资组合优化通过科学方法 与动态调整机制，系统性提升投资效能与风险管理能力，它不仅是一种理论工具， 更是连接市场复杂性与投资者目标的实践桥梁。通过科学框架实现资本的长效增 值与风险可控。随着大数据和人工智能的飞速发展，创造并运用多种创新框架和 管理方法能够促进金融市场的完善和保证经济的稳定发展。相关研究尝试将经典 的机器学习（Machine Learning,ML）和深度学习技术应用到投资组合管理及优化 任务中，提出许多智能投资组合管理方法，并在金融领域都取得了明显效果[5–7]。
1.2 研究现状及评述
投资组合管理和优化在金融领域发挥着至关重要的作用，帮助投资者在管理 风险的同时实现其金融目标。多元化（Diversification）是Markowitz(1952)在他的 开创性著作中引入的一个概念[4]。自20世纪50年代以来，投资组合理论在多个方 向上得到了改进和扩展。投资组合优化目标是同时处理多个冲突目标，它与投资 组合管理和选择有关。投资者将他们的目标和偏好纳入他们的决策：换句话说，金 融决策者可以包括各种目标（最大化回报，最小化风险，实现一定程度的多样化， 并满足特定的限制或偏好），为每个目标分配相对优先级，并找到平衡这些目标的 可行解决方案。
本研究进行了全面的文献综述，以探索金融和投资组合管理的交叉点，梳理投 资组合理论及拓展研究。马科维茨创立的均值-方差（MV）模型是现代投资组合理 论的基石，通过收益均值衡量预期收益，以方差量化风险水平，首次系统论证了通过资产分散化降低非系统性风险的有效路径。这一理论框架成为金融领域不可或 缺的分析工具，其核心问题可归纳为两个维度：优质资产筛选与资产权重优化[16]。 在后续理论发展中，Sharpe（1963）[17]提出的对角模型通过简化资产间的关联性 假设，显著降低了模型的数据需求和计算复杂度。Sharpe（1964）[18]进一步构建 了资本资产定价模型（Capital Asset Pricing Model,CAPM），阐释了预期收益率与 系统性风险之间的量化关系，并揭示了市场均衡价格的形成机制。Ross（2013）[19] 提出的套利定价理论（Arbitrage Pricing Theory,APT）则突破单因素限制，强调资 产收益与多因素风险的关联性，通过放宽模型假设使其更贴近实际市场环境，并论 证了有效市场中套利机会的不可持续性。这些理论体系为投资组合管理的实践奠 定了坚实的理论基础，并持续推动着金融学科的演进。
为提升投资组合理论的实践价值，部分研究拓展了现代投资组合理论，并改进 和补充现有方法。传统单期模型因未纳入跨期动态调整机制而面临局限，这促使研 究者转向多周期视角的探索[20]。Merton（1969）[21]将连续时间框架引入投资决策， 构建了动态最优资产配置模型，为长期效用最大化提供一种研究范式。Grauer与 Hakansson（1993）[22]通过对比离散时间模型下的两种优化方法——均值-方差二 次逼近法与精确幂函数法，揭示了不同修正周期对模型效果的影响：季度调整时均 值-方差模型可较好拟合动态过程，而年度调整则显示两类方法的显著差异，尤其 在二次逼近时差异进一步扩大。近年研究更注重方法创新与实用场景适配。郁顺昌 与黄定江（2018）[23]开发的自回归移动平均反转算法，通过多市场数据实证验证 了其在多周期资产选择中的优越性，其表现显著优于十余种传统基准模型。Gupta 等（2021）[20]则突破单目标限制，构建了多目标多周期优化框架，并融入不同风 险偏好参数（悲观、乐观、中性），为投资者提供多维度的策略选择空间。这些进 展不仅深化了对金融市场环境的理论认知，更扩展了现代投资组合理论在复杂金 融场景中的应用。
为探讨更具广泛意义的投资组合理论，部分学者认为投资组合优化任务是一 个多准则的决策问题（Multi-criteria Decision-making,MCDM），它广泛的应用于金 融领域研究[24,25]。Markowitz（1952,1991）[4,26]提出的投资组合选择问题认为投资 组合选择是一个双准则问题，其中一个目标是二次的，以最小化风险，另一个是线 性的，以最大化预期收益。该公式的目的是计算所有非劣准则向量的集合，当将其 绘制成一个边界的形状时，考虑到金融情况，将其称为有效边界，因为有效边界显 示且仅显示所有最优准则向量候选，决策者通过选择有效边界上最喜欢的点来找 到最优投资组合。均值-方差模型是双标准风险收益的一个研究得很好的案例。
1.3 研究内容与章节安排
本研究旨在从理论上改进和优化传统投资组合模型，并实证检验了模型的稳 定性；结合现代投资组合理论、深度学习方法和强化学习范式提出智能投资组合 优化框架；深入分析不同特征提取方法对投资组合优化有效性的影响；理论分析并 实证验证基于现代金融理论优势的深度投资组合模型具有良好的经济性能和实际 意义，推动投资组合管理领域的创新与发展。具体而言，主要内容包括以下三个方 面：
（1）提出了基于预测回报和交易成本的投资组合管理模型，理论证明并完善现 代投资组合理论。第一，该模型通过整合收益预测与校准交易成本，实现最优的投 资组合决策。它能够捕捉并预测近期历史回报数据中的信息，从而有效地重新平 衡投资组合，并且避免因过度交易导致的高昂交易成本和估计误差。第二，对未来 收益进行建模，将传统时间序列模型的收益预测与投资组合形成相结合，使投资 组合在实现投资目标的同时能够产生样本外的表现。本研究为构建风险投资组合 提供了一种可行方案。第三，理论证明并实证检验具有p-范数交易成本的投资组 合优化问题能够减轻估计误差的影响。本研究校准来自历史数据的交易成本参数， 通过校准交易成本项来对抗估计误差。采用更容易简单地校准交易成本项，使投 资组合模型在现实环境中更具有实用性。
（2）提出了一种基于深度强化学习的深度投资组合优化框架，实证验证结合金 融理论和人工智能方法的有效性。第一，该框架基于金融理论，结合深度学习方法 和强化学习范式。它能适应金融市场自身的非平稳性和环境不确定性，关注金融 信息的时序性和相关性，连续地做出最优投资组合决策。该框架不局限于任何特 定的市场环境，具有很好的泛化性和适用性。第二，采用深度学习方法对金融信 息进行特征提取与融合。相关特征模块能够提取出良好的资产相关性特征，序列 特征模块能够提取出良好的价格序列特征，这两种模块有助于提取更多价格信息， 做出更好的投资组合决策。考虑金融市场中的价格序列复杂的时序性和金融资产 复杂的相关性，本研究采用特征融合方式，深入探讨金融资产价格的时序特征和 相关特征对投资组合优化的有效性。第三，实证检验不同模块方法对投资组合优 化模型的影响和作用。本研究在真实数据集上金融资产信息进行特征提取与学习， 并将特征融合到强化学习的框架中，以验证深度学习模块方法对基于深度强化学 习的投资组合模型的决策影响和优化作用，提高模型的泛化能力和预测准确性。
第2章 基于深度强化学习的投资组合理论基础与框架构建
2.1 概念界定
（1）投资组合管理投资组合管理涉及金融预测、投资决策、资产配置等一系列过程[78–81]。在本 文中，投资组合管理是一个非结构化的决策过程，核心目标是通过科学的资产配置 和风险管理，以实现预期的投资目标，同时控制风险并优化收益。 （2）投资组合优化投资组合优化是通过数学方法或金融模型，采用科学方法优化资产配置，提高 收益并降低风险，构建风险与收益最佳平衡的投资组合[82–84]。这一优化过程基于 市场预期、历史数据和资产相关性，利用量化方法来确定投资组合中各资产的最 佳权重，从而实现收益与风险的最佳平衡[85]（3）智能投资组合随着人工智能和大数据技术的发展，智能投资组合管理正在成为未来投资的 主流方向，使得投资更加智能化、精准化和高效化[86–88]。智能投资组合是指利用 人工智能、深度学习和强化学习等先进技术，通过对大量金融数据的自动化分析、 模式识别与优化，来实现投资组合的动态调整与优化[89]。具体来说，人工智能方 法能够从海量的金融数据中自动提取有价值的模式和规律，识别市场动态，优化资 产配置，并动态调整投资策略，以适应市场的复杂性和不确定性[90,91]。
2.2 现代金融理论
现代金融体系两大支柱构成：有效市场假说（Efficient Market Hypothesis,EMH） 和经典资本资产定价模型。其中，有效市场假说的演进历程中，Osberne和Fama的 研究具有里程碑意义。Osberne（1959）[92]将爱因斯坦对布朗运动的理论引入到股 票价格行为的分析中，提出股票价格的变化类似于粒子的随机运动，且对数价格变 化符合正态分布，并指出投资者通过无偏估计构建主观概率进行资产定价，这一观 点为现代金融有效市场假说的发展奠定了基础。Fama（1970）[93]系统提出有效市 场假说，核心观点是：资产价格充分反映所有可获得信息，任何超额收益的获取均 受制于信息整合效率。
基于价格和信息具体关系的差异，Fama将有效市场进一步细分为三种有效程 度不同的市场：弱势有效市场、半强式有效市场以及强式有效市场，如表2-1所示。 这一分层理论揭示市场效率的本质是信息传递与定价速度的函数。在弱势有效市 场中，历史价格的技术规律被随机性主导；半强式有效市场通过快速消化公开信息 消除基本面套利空间；而强式有效市场则通过完全信息透明化消弭内幕交易优势。
有效市场假说的理论根基建立在三大理想化假设之上：（1）完全理性经济人。 投资者具备完全信息处理能力与无偏决策逻辑。（2）无摩擦套利。市场无交易成本 且允许充分套利，确保价格瞬时收敛至均衡。（3）信息即时反映。
2.3 计算机基础理论
深度学习作为机器学习领域的重要分支，其核心机制在于通过多层非线性变 换实现数据的层次化特征表征。该理论框架由Hinton与Salakhutdinov等学者于 2006年首次提出[101]，深度学习旨在模拟人脑的神经网络，利用多层神经网络结构 自动从数据中学习特征和模式，它通过大量的层次化模型来实现对复杂数据的理 解和预测[102]。深度学习背后的核心是神经网络模型的多层次化，也因此得名“深 度”。深度学习不需要预设模型即可解析金融市场中的复杂关系，这种自适应能力 使其能够成为智能金融系统的核心技术支撑。常见的深度学习模型包括：（1）卷积神经网络（CNN）：其核心架构包含卷积核 参数化滤波与空间池化操作层，通过局部感受野机制捕获视觉信号的平移不变性特 征。该模型在计算机视觉领域具有广泛应用，如目标识别、实例分割等[106–109]。（2） 循环神经网络（RNN）：RNN适合处理时间序列数据或序列依赖的数据（如自然语 言），它通过循环结构保持对之前信息的记忆。RNN的变种长短时记忆网络（LSTM） 和门控循环单元（GRU）能够更好地处理长距离依赖问题，常用于语言模型和语音 识别中[110]。（3）生成对抗网络（GAN）：GAN是一种生成模型，它通过两个网络 ——生成器和判别器之间的对抗训练，来生成逼真的数据（如图像）。GAN在图像 生成、风格转换等领域取得了显著成果。（4）自编码器（Autoencoder）：自编码器 采用编码-解码神经网络结构，通过无监督方式学习数据的压缩表示，它将输入映 射至低维表示，然后再解码回原始数据。这种结构广泛用于降维、特征提取以及异 常检测。（5）Transformer：作为自然语言处理领域的革新性突破，Transformer基于 自注意力机制构建，通过全局依赖关系建模与并行计算优势，突破了传统循环神经 网络（RNN）的序列建模范式[111]。因此，它能够捕捉全局依赖性，大大提高了处 理长序列的效率[112]。Transformer模型广泛应用于机器翻译、文本生成等任务，代 表性模型有GPT、BERT等。
2.4 智能投资组合优化框架构建
投资组合管理虽然是经济学领域中广泛研究的问题，但始终缺乏系统性的解 决方案。因此，本文提出的智能投资组合优化框架，致力于解决该领域当前面临的 挑战，为投资组合管理与优化提供可行性方案。
第一，投资组合交易过程中摩擦和未来趋势，对于提高模型稳健性和降低估计 误差来说很重要。资产的预期收益是一个关键因素，在投资组合管理过程中，投资 组合预测回报对后续管理有重要的影响。明确的金融预测可以降低投资组合交易 过程中的不确定性，以适应真实的市场变化。投资组合交易中摩擦的存在会产生 高昂的交易成本，也会导致投资组合收益估计存在偏差。然而，已有研究提出的投 资组合方法一般依赖于一些假设和约束，致使实际应用中可能存在结果偏差。因 此，本研究基于现代投资组合理论，改进和优化传统投资组合模型。在构建多目标 模型时，重视投资组合优化任务的本质，探索多优化目标之间的权衡问题。通过整 合收益预测与校准交易成本，降低预测误差和估计误差，有效地为投资组合优化框 架提供支撑。
第3章 基于收益预测和交易成本的投资组合管理模型
3.1 本章研究问题描述
3.2 投资组合管理模型构建及理论分析
3.3 实证结果及分析
3.4 本章小结
第4章 基于深度强化学习的投资组合优化框架
本章提出了一种基于深度强化学习的深度投资组合优化框架。实证验证结合 金融理论和人工智能方法的有效性。该框架结合现代金融理论、深度学习与强化 学习范式，聚焦金融市场信息特征，通过深度学习提取金融市场的时序特征与资产 关联特征；并采用确定性策略梯度算法构建自适应投资组合优化框架。该框架利 用深度学习捕捉金融数据复杂模式；通过强化学习实现动态策略优化；在波动市场 环境下保持风险可控性。
4.1 本章研究问题描述
投资组合优化是指在一定时期内，投资者通过分析每种资产的表现，不断调整 资产的投资权重，做出最优的投资组合决策。其目标是分散投资风险，提高预期的 累计投资回报。随着金融市场的不断发展，金融资产也越来越多元化。金融信息的 复杂性可能导致投资者在进行投资决策时出现偏差[149]。投资者在评估金融资产情 况，分析资产之间的关系时变得越来越困难，难以做出合理的投资决策，导致做出 非理性的金融交易策略[150]。近年来，由于人工智能在金融领域的广泛应用，投资组 合优化作为金融领域一项重要任务，引起了学术界和产业界的广泛关注[149,151–153]。 智能投资组合交易通常是通过利用基于特定规则约束和数理统计建立的模型或程 序，在金融市场上自动交易资产[154,155]。在智能投资组合交易中，用于给出交易策 略的模型或程序可以被看作是强化学习中的智能体，该智能体可以挖掘资产价格 变化的潜在模式，从而构建投资策略并自动执行交易。智能投资组合优化的特点 是高度自动化和连续性[150]，并且与传统投资交易操作相比，它可以高效地收集信 息，同时避免非理性的交易行为[156–158]。
金融市场中的资产价格序列具有复杂、高噪声、非线性和非平稳性的典型特 征[159]。大多数传统方法是基于传统的技术指标，如移动平均[160]、加权移动平均[161]、 MACD[ 162]等人工指标对不同资产的特点考虑不足[163]。因此提取的特征具有较差 的表示能力从而导致了较差的收益结果，这些方法对金融市场有效数据的不充分 挖掘及有效信息的不充分利用，导致其性能表现受限，模型不够稳定[77,163]。因此， 建立更加精确的投资组合优化框架，避免由方式方法不足导致盈利损失，成为投资 组合优化中亟待解决的问题。
4.2 投资组合优化任务提出
投资组合管理是一项基本的金融规划任务，旨在通过资产配置实现最大化利润 或最小化风险。本研究的投资组合优化任务表示为在t时期有n+1个资产（1个无 风险资产和n个风险资产）。在第t时期，将所有资产的价格表示为pt∈R( n+1)×d +，其 中每行pi ,t∈Rd+表示资产的特征，d=4表示价格的个数。具体而言，本研究考虑四 种类型的资产价格，即开盘价，最高价，最低价和收盘价。来自两个真实世界市场（加 密货币市场和中国A股市场）的资产价格信息表现出时间相关性和资产相关性。可 以将它归纳为更多的价格以获得更多的信息，令价格向量pt={p t−k,...,pt −1}，其 中k是价格序列的长度。pi ,t 表示第i个资产在t时刻的收盘价，其中i={1,...,n}， n为投资组合中的资产数量。价格向量pt由所有n个资产的收盘价组成。
4.3 研究方法
人工智能在金融市场的应用已成为一种普遍现象，但简单地将人工智能引入 金融市场已不再可取。金融市场具有噪声和不确定性，为获得好的回报和工作效 率就需要更具有普适性和可解释性的投资组合模型，投资组合问题可以认为是一 个考虑资本时序性与复杂性的决策过程。本节分析不同深度学习特征提取方法对 投资组合模型的影响，介绍强化学习框架并结合现在金融理论提出深度投资组合 优化框架，以完善投资组合的管理及优化。
4.4 实证结果及分析
本研究在两个真实数据集上实证检验，通过对比分析不同投资组合模型的累 积投资组合价值、夏普率和最大回撤的综合表现，检验深度投资组合优化模型的 实际性能，以验证结合现代投资组合理论和深度强化学习的深度投资组合优化框 架的有效性。主要从以下三个方面对深度投资组合优化框架进行评估：第一，在真 实数据集上，评估并对比了不同模型的盈利能力。第二，检验并对比了不同模型的 实际经济性能。第三，验证了金融资产价格的时序特征和相关特征对投资组合优 化的有效性。通过消融实验，检验不同特征提取方法选择与融合对投资组合优化 模型的重要性。
4.5 本章小结
本章基于现代金融理论，结合深度学习在金融时间序列特征和资产相关性特 征处理和学习的优势，与强化学习范式在投资组合优化中的有效性，提出了一种深 度投资组合优化的框架，该框架旨在是完善投资组合管理过程和优化投资组合任 务。该框架基于CNN方法提取金融资产相关性和LSTM方法提取金融信息时间序 列特征，之后对金融信息的时序性和相关性信息融合，结合DPG方法，能够动态 优化和决策投资组合。
首先，本研究比较深度投资组合模型和不同基线模型的APV、SR和MDD的 综合表现，实证结果表明深度投资组合优化框架的APV、SR和MDD指标表现均 优于其他模型，展现了深度投资组合优化框架的稳健性和适用性。其次，本研究进 行消融实验，将深度投资组合优化框架与仅使用单一模块的特征提取方法进行比 较，实证结果表明DPO、DPO-L和DPO-C的APV、SR和MDD表现优于其他策 略，这说明采用特征提取和融合模块方法的必要性。最后，实证检验了同时关注金 融信息的时序相关性和资产相关性的重要性，以及深度投资组合优化框架中对两 相关性特征的选择、提取和融合的必要性。
第5章 考虑交易成本和风险因素的深度投资组合优化模型
本章在第3、4章基础上，提出了一种基于交易成本和风险因素的深度投资组 合优化模型。理论证明并实证检验金融理论指导并优化智能投资组合的重要作用。 该模型将现代投资组合理论与深度强化学习相结合，通过现代投资组合理论指导 奖励函数设计，使智能体能够动态捕捉市场变化并生成自适应资产配置。该框架 考虑交易过程中的风险因素和交易成本，有效控制投资组合波动风险和降低过度 交易导致的损失；构建动态响应机制，实现市场环境变化下的稳健配置。该模型能 够在复杂市场环境中控制风险和降低交易成本同时获得更高收益，实现投资组合 的持续优化。
5.1 本章研究问题描述
投资组合管理一直是投资者和量化金融研究者关注的一个重要问题。投资者 需要动态地将资金配置到不同的金融产品上，以实现收益最大化的同时将风险降 到最低。随着人工智能的进步和AlphaGo的突破性进展[180–182]，深度强化学习算法 得到了学术界和工业界的广泛关注。它结合了深度学习的感知能力和强化学习的 决策能力的优势，在量化交易领域取得了显著进展[183–188]，尤其是在投资组合的管 理与优化方面[189–191]。
最近，人工智能的发展吸引了研究人员的注意力，使包括投资组合管理问题在 内的各种金融应用中的管理任务的功能自动化[47,192]。在这种情况下，深度神经网 络的代表性能力促使许多研究使用不同的深度学习方法，其中包括用CNN、RNN 等来学习资产价格信息中的时间和空间模式或特征[193,194]。然而，这些方法的强监 督性使它们需要特定问题（如预测、分类等）的相关标签。在金融资产交易中，投 资组合的优化过程需要考虑交易成本和时间数据，并且这些金融信息无法明确标 记最优标签。此外，由于投资组合相关数据是通过与金融市场交互产生的，大量且 优质的金融交易数据难以获取，这些问题使得投资组合优化任务仍是一项艰巨的 挑战。
5.2 投资组合优化任务提出
假设一个投资者希望在有限的T≥1周期内将其资本投资于有限个n≥2 的资产。在每个时期，每种资产的价格都在波动。对于T=1,...,t，设pt= {pt−k,...,pt −1}∈Rn+，是n种资产在t期末的收盘价，其中k是价格序列的长 度。pi ,t 表示第i个资产在t时刻的收盘价，其中i={1,...,n}，n为投资组合中的 资产数量。除了n个风险资产外，p0 ,t=1{∀t|x 0,t=1}，表示时刻t的无风险资 产价格。假设忽略通货膨胀或通货紧缩因素影响，无风险资产的价格几乎无变化。 它对学习过程的影响很小，在输入中排除了无风险资产。
5.3 研究方法
在投资组合优化任务中，强化学习是一种学习范式，用于描述和解决智能体与 金融环境交互的问题，以学习最大化回报和最小化风险的策略。奖励函数是强化 学习中学习目标函数的重要组成部分，智能体在环境中实现目标时收到的反馈信 号直接影响智能体的学习过程。投资组合优化的有效性是强化学习的学习方式和 风险-成本奖励函数共同影响的结果。
投资组合优化的马尔可夫决策过程包含金融环境状态空间S，投资组合动作 空间A，收益奖励空间S×A→R，和投资组合策略π。该过程的目的是找到最优 投资组合策略π：智能体通过与金融环境的交互，做出投资组合最佳配置向量，来 最大化累积奖励，实现最优决策。
在长度为T的任务中，每个时间步t与以下参数相关联：观察环境状态st∈S， 动作at∈A，奖励r t∈R，状态转换s t+1∈S，从时间步t到过程结束收到的累积 回报Jt，以及确定时间步t中未来奖励影响的折扣率，γ∈[0,1]。γ越接近0，就 越关注t的奖励。
5.4 实证结果及分析
本研究通过对比分析不同投资组合模型的累积投资组合价值、夏普率和最大 回撤的综合表现，评估基于风险-成本的深度投资组合优化模型性能。主要从以下 3个方面对基于风险-成本的深度投资组合优化模型进行评估：首先，在真实数据 集上评估了模型的盈利能力。其次，本研究还评估了模型的实际经济性能。此外， CRDPO中特征提取与融合是至关重要的。为了验证深度学习模块中的模块选择和 整合有效性，本研究还比较了不同特征提取方法的消融实验结果。
5.5 本本章重点研究投资组合模型的经济意义和实际效益。以现代投资组合理论为 基础，基于深度投资组合优化框架，结合奖励函数塑形方法，提出了基于风险-成 本的深度投资组合优化模型。该模型的奖励函数考虑投资组合交易过程中的交易 成本和风险因素，使智能体能够与金融市场环境有效交互。本文基于现代投资组 合理论提出了新的奖励函数，并通过理论分析和实证检验在强化学习范式下，该 奖励函数塑形过程中考虑金融理论的必要性和优越性。提出的模型使用深度学习 模块从金融信息中提取特征信息整合到强化学习范式中，采用深度强化学习方法， 分析市场环境状态，将资产进行配置，并获得奖励，通过不断的优化，这一过程最 终实现最优的投资组合决策。
首先，本章理论证明了奖励函数塑形结合金融理论的必要性，证明提出的奖励 函数可以实现回报增长率的最优。本研究结合现代投资组合理论，为现有基于强 化学习的投资组合优化研究提供了理论支撑。并在真实数据集上实证检验了在投 资组合交易过程中关注交易成本和风险因素能够使模型具有实际效益和良好的适 应性能。其次，本研究进一步比较基于风险-成本的投资组合优化模型与不同基线 模型的盈利能力和经济效益，并对比分析深度投资组合框架和该模型的综合表现 与性能。实证结果表明，基于风险-成本的深度投资组合优化模型在实现投资组合 收益最优的同时，避免了过度交易引起的收益损失，使投资组合收益更平稳，抗风 险能力更强，并突出了智能投资组合优化模型的稳定性。最后，本研究进行消融实 验将RCDPO与仅使用单一模块的特征提取方法进行比较，实证结果表明RCDPO、 RCDPO-L和RCDPO-C的APV、SR和MDD表现优于其他策略，这说明考虑交易 成本和风险因素的投资组合模型，结合特征提取和融合模块方法的是必要的，能够 显著提高投资组合模型的稳定性和实用性。
结论
投资组合管理是金融领域一项非常重要的研究工作。现代金融市场环境下，在考虑交易成本的同时，平衡收益与风险，并兼顾投资者多元化需求是一个关键问 题。智能投资组合管理及优化聚焦高效、精准且智能的方法，为这一问题提供了创 新性的解决方案。本研究深入挖掘金融市场中的有效信息，优化金融资产配置，并同时兼顾理论研究与技术实现，以丰富投资组合管理与优化。本文通过结合金融 学理论与计算机方法，利用金融理论指导并优化深度投资组合策略。本研究对金 融市场自身非平稳性和环境不确定性、金融数据特殊性以及金融市场实际经济效 益等进行了一系列创新性研究工作，总结如下：综上所述，本文对所研究的投资组合管理及优化任务中的问题进行了深入探 索，并提出了解决方案。未来研究将重点探索更有效和更通用的基于强化学习和投 资组合理论的投资组合优化方法。本文将聚焦更先进的深度学习方法在量化金融 中的应用与结合等新方向的研究。因此，未来研究工作将重点关注以下几个方面：
（1）在对金融数据进行收益预测时，将对比尝试结合不同计算机方法，包括机器 学习方法（例如支持向量机，随机森林）或深度学习方法（例如GRU，Transformer） 等，通过比较不同金融预测模型性能与金融数据特性进行适配，使其能够精确地评 估各项资产的潜在收益，及时调整投资策略以应对市场波动，提高投资组合优化模 型的有效性。
（2）由于中国股市交易时间的特点，5分钟数据收集十分困难，同时本研究数 据是十分宝贵难得的，未来研究将对数据进行更长时间积累和收集，以获得更好的 财富积累和经济性能，进而探索模型对中国股票市场长期投资的适用性。同时，还 将进一步采集更多国家数据来建立优质数据库，该数据库可丰富实证研究内容，充 分验证智能投资组合优化模型的泛化性能，促进更为有效的投资组合管理和决策。
（3）未来研究将探索更多模态的金融市场信息，包括价格序列信息、金融市场 文本信息以及提示引导AI模型（例如GPT，DeepSeek）的辅助问答信息等，研究 多源信息对投资组合决策的影响，以及模型跨源学习能力。此外，未来将探索整合 不同改进的新型深度学习模块，以从不同的数据源中提取信息，并融合多源信息特 征，旨在提高模型的鲁棒性和适应性。
参考文献