quant-trading · 第 7 章 智能农民 convex 优化项目 ★

quant-trading · 第 7 章 智能农民 convex 优化项目 ★

章节摘要:本章是旅程的第七步,也是全教程的第二个高潮(★)。Smart Farmers 项目是 quant-trading 里学术性最强的研究——README 几乎可直接改写成 working paper(含 Assumption/Theoretical Framework/Data Specification/Empirical Result/Discussion/Further Reading 完整论文结构)。核心思想惊艳:把马来西亚农民的种植决策建模成一个凸优化(二次规划)问题,假设农民是追求利润最大化的 Homo Economicus,受轮作、多年生作物寿命、可耕地约束。用 CVXOPT 解 QP,用工具变量(2SLS)处理不可观测的需求,用合成控制法填补缺失数据。但最深刻的教训在前向测试——引用 MSCI 研究主管 Dimitris Melas 的话"I have never seen a bad backtest",模型预测 2018-2020 backwardation 实际是 COVID 的 W 型复苏。7 篇文献含 Marshall 1890 与 Ricardo 1817 两本百年经典。

旅程坐标

旅程第七步(高潮):用凸优化建模现实决策。但前向测试的失败会引出第 8 章的批判反思。

学习目标

阅读完本章,你应当能够:

1. 理解把农民决策建模为凸优化(QP)的思路。
2. 说清目标函数为何是二次型(价格内生由供需缺口决定)。
3. 理解工具变量 2SLS(人口+GDP 对价格无直接因果)与合成控制法。
4. 用 CVXOPT 的 qp 接口(不等式≤+等式约束的标准形式)。
5. 正视"回测上帝视角 vs 前向现实"的鸿沟。

子章节导航

01 Smart Farmers 项目导论与凸优化建模

论文式结构;农民=Homo Economicus 利润最大化;目标函数=(价格×产量)-(成本×产量);价格内生 P=P_eq+α(D-S)+ε 使目标函数二次型→天然 QP;约束=轮作+多年生寿命+可耕地;Markowitz 投资组合类比。7 篇文献(Marshall/Ricardo/Abadie/Angrist)。

02 数据清洗与合成控制法

FAO 14GB 数据(生产/产量/价格/人口/人均 GDP);马来西亚 61 类作物→剔<1%用地→30 类;cleanse data.py;缺失价格作物(姜/生菜/玉米等)用合成控制法填补(灵感 Abadie 2003 Basque 研究);作物寿命表 mapping.csv。

03 需求估计与工具变量 2SLS

需求 D 不可观测→引入工具变量(人口+GDP 对价格无直接因果只经需求间接影响);constrained_ols 用 QP 做带非负约束最小二乘估 α/β/γ;两个回归(需求模型+定价模型)串联;tres_grand.csv 输出。

04 凸优化求解与前向测试

forecast.py 的 get_production 把回归系数组装 quadratic_coeff(diag)+linear_coeff;cvxopt.solvers.qp(P/q/G/h/A/b) 标准形式;Nelder-Mead 找最优初始成本;一年前向预测(IMF GDP+UN 人口);棕榈油 CPO 期货前向验证;前向远不如回测——COVID W 型复苏打脸预测;"I have never seen a bad backtest"。配图 farm-* 系列(pricing mechanism/ricardian model/6作物)。

前置知识与后续延伸

前置知识:第 6 章(回归工具);计量经济学(IV/2SLS,可选)。

后续延伸:第 8 章 Monte Carlo 的批判反思;Smart Farmers 的 Ricardian 推广版(国际贸易)留作开放题。