用 RL 训个 agent 自动交易——多半亏

01为什么 RL 在金融里这么难

RL 在游戏（Atari、围棋）里大杀四方，因为游戏有明确规则、即时反馈、可无限重放。金融恰好相反：

所以 RL 在金融里要解决的核心问题不是"学得快"，是"怎么在噪声里学到信号、且信号不会过期"。这比游戏难一个量级。

02RL 交易陷阱清单：你踩了几个

下面 8 个陷阱，勾选你（或你的 agent）踩过的，看你的 agent 还有救吗。致命级踩中 1 个基本就完蛋。

03奖励函数：RL 的灵魂，也是最容易错的地方

RL 的核心是奖励函数——它告诉 agent "什么好什么坏"。设计错了，agent 学到的不是你想要的。三个经典错误：

• 用累计收益做奖励：agent 学到"梭哈涨的"——短期涨就买，崩盘前满仓。要改成风险调整收益（夏普、Calmar），让 agent 也怕回撤。
• 奖励不含交易成本：agent 学到"高频刷单"——每秒买卖，回测里赚钱，实盘被手续费吃光。奖励里必须扣手续费、滑点。
• 奖励太稀疏：只有平仓才有奖励，agent 中间几十步没反馈，学不动。要用奖励塑形（reward shaping）给中间信号，但塑形不当会引入偏差。

记住：agent 优化的是你给的奖励，不是你想要的利润。奖励函数和真实目标差一点，agent 就会找到那个差别的漏洞去钻。

04带走这套清单