想象你卖出一份“只要市场别大动，我就赚钱”的合约。每天的小波动都在帮你收钱，但一次急涨急跌，可能把此前利润迅速吞掉。真正难的不是要不要做这笔交易，而是何时见好就收。Wang、Slepaczuk与Sakowski的论文把这个问题拆成两步：先让模型学习历史上“事后看最该退出”的时点，再用强化学习按真实交易奖励微调。论文已获 ACM ICAIF 2026 接收；以下效果与数字均来自论文自身，尚无外部复现或实盘交叉验证。
卖方赚的是等待，也怕等待
卖出跨式（short straddle），就是同时卖出执行价和到期日相同的看涨与看跌期权。指数变化不大时，卖方可以赚取收到的权利金；但价格向任一方向剧烈移动，都可能造成较大损失。
论文研究的是 SPX 期权，即以标普500指数为标的的期权。它不尝试预测何时开仓，而是假定一组卖出跨式已经建立，再反复回答一个二选一问题：继续持有，还是现在平仓？
数据覆盖2016—2026年，以30分钟为一个观察点，每日最多13次决策。2016—2023年用于训练，2024—2026年被锁定为样本外测试期。组合用20个可重复使用的资金槽，模拟约20个交易日到期、每日滚动开仓的重叠持仓。各策略采用相同的买卖价差、佣金、结算、仓位和组合记账规则，因此比较的核心是退出决策。
先请“事后诸葛亮”当老师
第一阶段使用多层感知机（MLP）——一种能学习输入与结果之间非线性关系的神经网络。研究者先回看每段历史行情，在至少持有26个30分钟时段、约两个交易日之后，找出按实际成交与成本假设计算的最佳退出点。此前状态标为“持有”，该时点及此后状态标为“退出”。
这位老师知道后来发生了什么，所以本质上是一个 oracle，即拥有未来信息的“事后裁判”。但未来信息只用于训练期制作标签。部署时，MLP只能看到当下可获得的17项状态，包括剩余到期时间、时段、买卖价差、波动率风险溢价信号、持仓时间、未实现盈亏、指数相对入场时的变化，以及执行价与指数的相对位置等。训练数据与测试数据还按时间顺序隔离，标准化参数也只从训练样本估计。
这像是先拿历年完整棋谱教人辨认危险局面，再让他在新棋局中只看眼前棋盘落子。棋谱可以帮助训练，但比赛时不能偷看后续步骤。
RL不是从蒙眼试错开始
第二阶段引入强化学习（RL）——模型根据行动带来的累计奖励，逐步调整策略。论文把训练好的MLP参数直接交给RL的决策网络，也就是 actor。Actor负责选择持有或退出；critic则估计当前局面大致值多少钱，帮助判断一次行动比预期更好还是更差。
关键不只是“赚了多少”。训练奖励同时考虑持仓价值变化、波动率风险溢价、平仓交易成本、尾部风险和临近到期仍持仓的风险；真正退出或到期时，则按已实现盈亏和交易成本给分。换句话说，MLP先教模型一个尚算靠谱的收手习惯，RL再围绕收益与风险修正，而不是让它从随机动作开始摸索。
论文还测试了 Actor-Critic、AWR 和 AWAC 三种微调方式。后二者都会让结果优于预期的动作获得更高训练权重。它们共享相同环境、状态、动作与成本设定，差别主要在更新方法。
最醒目的结果，其实是“起点”
据论文报告，在2024—2026年的样本外组合测试中，单独使用监督学习的MLP取得35.01%累计收益，Sharpe ratio为1.651。Sharpe ratio用收益相对于波动的大小衡量风险调整后表现，数值越高，意味着每承担一单位波动得到的收益越多。
以MLP初始化的 Actor-Critic，在7个不同随机种子下平均累计收益为37.54%，Sharpe ratio为1.705。相对MLP，收益高2.53个百分点，Sharpe高0.054，改善存在，但幅度并不大。AWR和AWAC大体保住了监督模型的表现。
更强的对照来自随机初始化：从零训练的 Actor-Critic 平均累计收益只有0.18%。这不能证明“RL单独使用都无效”，却支持论文在这个特定任务上的核心判断：期权退出的奖励稀疏，又取决于整段价格路径，先用事后最佳标签给出一个合理起点，可能比让RL盲目试错稳定得多。
论文还称，监督式MLP优于持有到期、持有约五个交易日后退出、盈利达到入场权利金25%或亏损达到50%便退出，以及把时间和盈亏门槛结合起来的规则。其意义在于，模型可能学到“同样亏损幅度在不同期限、价差和波动环境下应有不同处理”，而不是只执行一条固定止盈止损线。
为什么值得关注
这项工作的实用价值不在于宣称找到万能退出点，而在于把两类学习方法放到了更合适的位置：监督学习擅长从清晰标签中学会基本动作；强化学习则负责围绕最终交易目标做小幅修正。它也把买卖价差、佣金、现金结算和重叠持仓纳入同一组合模拟，避免只比较没有摩擦的单笔交易。
对交易者而言，最值得带走的并非37.54%这个单一数字，而是一个设计思路：面对损失偶发却很大的策略，先建立可解释、可交易的基准政策，再讨论RL能否提供增量，往往比直接交给RL更有检验价值。
局限与未知
- 全部效果来自同一篇论文。7个随机种子只是重复训练，不是7份独立证据；样本外区间也仅为2024—2026年，尚不足以说明策略能跨市场阶段稳定工作。
- MLP与 Actor-Critic 的收益只差2.53个百分点，Sharpe只差0.054。论文材料未给出这一区别的统计显著性，因此不能仅凭摘要判断其经济意义。
- 事后最佳标签天然使用未来路径。论文称训练与测试严格按时间隔离，但仍需独立核查标签生成、模型选择、数据截点，以及交易成本、滑点、保证金、资金占用和尾部风险假设；结果也不能直接外推到其他标的、期限或行权价。