第 12 章 · 04 arXiv 雷达与文献追踪

第 12 章 · 04 arXiv 雷达与文献追踪

本节摘要:本节是全教程的最后一节,讲本仓库的特色功能——arXiv Radar(arXiv 雷达)子站,以及它背后的 scripts/ 爬虫体系。前面 11 章学的都是「已有的量化知识」,但量化研究是快速演进的领域,新论文(尤其 AI+Finance)层出不穷,如何持续追踪前沿?本仓库给出了一个可运行的答案:用 scripts/ 下的 4 个 Python 脚本(arxiv_crawler.py 抓取、paper_processor.py 用 LLM 生成中文摘要、generate_daily.py 生成每日页面、generate_topic_index.py 主题索引),自动从 arXiv 抓取 AI+金融论文,用大模型(豆包/DeepSeek)过滤相关性、生成中文概述、打主题标签,最终产出每日论文日报与主题分类索引(已索引 962 篇)。这套系统展示了「LLM + 爬虫 + 静态站点生成」这一现代个人知识管理范式,不仅适用于量化,也可迁移到任何需要追踪学术前沿的领域。本节逐个讲清四个脚本的作用、它们如何协作、LLM 在其中的角色,以及如何把这套思路用到自己的学习/研究中。

内容来源:仓库 scripts/ 的 4 个 Python 脚本(arxiv_crawler.py、paper_processor.py、generate_daily.py、generate_topic_index.py)与 data/ 目录,知识结构化整理。

⚠️ 学习提示:这套系统不是「装上就能完美用」——它依赖 LLM API(豆包/DeepSeek)做相关性判断与摘要,API key 需自备,LLM 判断也有出错时。但它的价值在于「自动化框架」——把人工筛论文的重复劳动变成自动 pipeline,让人专注读真正相关的少数论文。

学习目标

阅读完本节,你应当能够:

1. 说清 arXiv Radar 子站的功能与价值。
2. 列出 scripts/ 的四个脚本及各自作用。
3. 解释 LLM 在论文处理中的两个角色(相关性过滤、中文摘要)。
4. 描述从 arXiv 到每日页面的完整 pipeline。
5. 把这套自动化追踪思路迁移到自己的领域。

一、为什么要自动化追踪前沿

量化研究(尤其 AI+Finance)是快速演进的领域:

• arXiv 的 q-fin(量化金融)分类每天有几十篇新论文。
• cs.LG/cs.AI/cs.CL(机器学习/人工智能/NLP)里也有大量金融相关论文。
• 一年下来数千篇,人工筛完全不现实。

如果不持续追踪,你的知识会很快过时——华泰 AI 系列的很多方法(AlphaNet、BERT、GAN)在 5 年前还是前沿,现在已成标配。如何高效追踪?

本仓库给出的答案:用爬虫+LLM 自动化,把「抓取→过滤→摘要→分类→展示」全流程自动化,最终你只需读 LLM 筛过的、带中文摘要的少数相关论文。

二、arXiv Radar 子站:962 篇论文的索引

仓库的 arXiv Radar 子站(位于 论文/AI金融论文整理/)是这套 pipeline 的产出:

• 每日论文日报:每天一个 markdown 页面,列出当日抓取的论文,带中文概述、标签、核心贡献。
• 主题分类索引:按主题(LLM & Agent、Asset Pricing、Factor Mining、Machine Learning、Portfolio & Risk、Trading、Behavioral Finance、Derivatives、Benchmark)分类,方便按兴趣浏览。
• 主索引页:列出最近 30 天的每日更新,以及主题入口。

截至本教程编写,已索引 962 篇 AI+金融论文,是一个相当丰富的前沿文献库。

三、脚本 1:arxiv_crawler.py(抓取)

arxiv_crawler.py 是 pipeline 的起点,负责从 arXiv 抓取论文。它的核心逻辑:

抓取范围

• q-fin 全分类:q-fin.CP(计算金融)、q-fin.PM(组合管理)、q-fin.RM(风险管理)、q-fin.ST(统计金融)、q-fin.TR(交易与微观结构)、q-fin.GN/MF/PR/EC 等 9 个子类。这些本来就属量化金融,直接全收。
• ML/AI + 金融关键词:在 cs.LG/cs.AI/cs.CL/stat.ML 里,用关键词(asset pricing、factor model、algorithmic trading、LLM finance、reinforcement learning trading、FinGPT 等约 50 个关键词)搜索,抓取跨领域的金融相关论文。

关键工程细节

• 增量检测:维护一个 paper_index.json 记录已抓取的论文 ID,每次只处理新论文,避免重复。
• 去重:多个关键词可能搜到同一篇,用论文 ID 去重。
• 时间过滤:只保留最近 7 天的论文(每日跑一次,7 天滚动窗口)。
• LLM 相关性过滤(关键):对非 q-fin 分类的论文(即 cs.LG 等里搜到的),用 LLM(豆包 deepseek-v3-1-terminus)判断「是否真的金融相关」——因为「stock」可能出现在纯 NLP 论文里。LLM 只回答 YES/NO,过滤掉不相关的。

# 简化的判断逻辑(arxiv_crawler.py 的 judge_relevance)
def judge_relevance(paper):
    categories = paper["categories"]
    if any("q-fin" in c for c in categories):
        return True   # q-fin 分类直接相关
    # 否则问 LLM
    prompt = f"判断这篇论文是否直接研究/应用于金融。标题:{...} 摘要:{...}"
    return "YES" in call_llm_judge(prompt)
​

💡 LLM 过滤的价值:arXiv 关键词搜索会返回大量「碰巧提到 stock 但其实是纯 ML」的论文。LLM 能理解摘要语义,精准过滤,把每日几十篇候选缩到几篇真正相关的。这是 LLM 在 pipeline 里的第一个角色。

四、脚本 2:paper_processor.py(LLM 中文摘要+标签)

paper_processor.py 对过滤后的论文做深度处理,用更强的 LLM(豆包 doubao-seed-1-6-lite)为每篇论文生成:

输出

• 中文标题:翻译论文英文标题。
• 中文概述:2~3 句话说明论文的主要贡献与方法。
• 标签:从 25 个预定义标签(LLM、NLP、Asset Pricing、Factor Model、Deep Learning、Reinforcement Learning、Portfolio Optimization、Risk Management、Algorithmic Trading、High Frequency、Market Microstructure、Volatility、Options、Benchmark 等)里选 2~4 个最相关的。
• 核心贡献:列出论文的 2~3 个核心贡献。

工程细节

• JSON 结构化输出:要求 LLM 严格输出 JSON,便于程序解析。
• 标签校验:LLM 选的标签必须在预定义列表里(防止幻觉),否则用规则从分类与标题推断。
• 增量处理:只处理新论文,已处理的跳过。
• 容错:LLM 返回解析失败时,用规则推断标签兜底。

# 简化的 prompt(paper_processor.py)
prompt = f"""请分析以下量化金融/AI+金融论文,生成中文概述和标签。
标题: {title}
摘要: {abstract}
输出 JSON: chinese_title, chinese_summary, tags(从列表选2-4), key_contributions
"""
​

💡 LLM 摘要的价值:英文摘要读起来慢,中文概述让你 10 秒判断「这篇值不值得深读」。25 个预定义标签让论文可按主题检索。这是 LLM 在 pipeline 里的第二个角色——翻译+浓缩+结构化。

五、脚本 3:generate_daily.py(每日页面生成)

generate_daily.py 把处理后的论文数据,生成人类可读的 markdown 页面:

产出

• 每日日报(daily/YYYY-MM-DD.md):把当日论文按主题分类,每个主题下列出论文(标题、作者、标签、中文概述、核心贡献)。
• 主索引(README.md):列出最近 30 天的每日更新(日期、论文数、链接),以及 9 个主题分类入口。
• 空页面处理:arXiv 周末与美国节假日不接收新论文,生成「今日无新论文」的占位页面。

设计要点

• 标签到主题的映射:25 个细分标签聚合到 9 个大主题(如 LLM/NLP/Sentiment Analysis 都归到「LLM & Agent」)。
• 静态站点思路:每个页面是独立 markdown,可在 GitHub 直接渲染,无需后端。
• 首页日期自动更新:更新主 README 的「已更新」日期。

这种「数据(JSON)→ 模板 → 静态 markdown」的思路,是 GitHub Pages 等静态站点的核心,无需数据库,纯文件即站点。

六、脚本 4:generate_topic_index.py(主题索引)

generate_topic_index.py(本节不展开代码)生成按主题分类的索引页:

• 每个主题一个 markdown(topics/llm-agent.md、topics/asset-pricing.md 等)。
• 列出该主题下所有论文,按时间倒序。
• 让读者按兴趣深入某主题。

七、完整 pipeline 的协作

四个脚本构成一条完整 pipeline,典型的每日运行流程:

每日定时任务(cron):
    1. python arxiv_crawler.py
       → 抓取 arXiv → LLM 过滤 → 存 data/papers/YYYY-MM-DD.json
    2. python paper_processor.py
       → 读当天 json → LLM 生成中文摘要+标签 → 存 data/papers/processed/
    3. python generate_daily.py
       → 读处理后的 json → 生成每日 markdown + 更新主索引
    4. python generate_topic_index.py
       → 重新生成主题索引页
    5. git commit & push
       → 推送到 GitHub,子站自动更新
​

这套 pipeline 完全自动化,每日只需一次 git push,arXiv Radar 子站就更新。这是「个人知识管理自动化」的典范。

八、LLM 在 pipeline 里的两个角色

总结 LLM 在这套系统的两个关键角色:

两个角色用不同模型——过滤任务简单(YES/NO)用快模型;摘要任务复杂用强模型。这是「按任务复杂度选模型」的工程智慧,平衡成本与质量。

九、从这套系统学到的范式

这套 arXiv Radar 不只是「抓论文」,它展示了一种通用的个人知识管理范式:

这个范式可迁移到任何需要持续追踪信息源的领域:

• 学术前沿:把 arXiv 换成特定领域的预印本、期刊 RSS。
• 行业动态:把 arXiv 换成行业新闻 API、政策网站。
• 竞品监控:抓取竞品官网/博客,LLM 摘要变化。
• 投资研究:抓取特定主题的新闻/公告,LLM 提炼信号。

💡 核心心法:在 LLM 时代,「持续学习」可以工程化——用爬虫+LLM 把信息获取与初筛自动化,让人专注深度阅读与判断。这套 arXiv Radar 就是「量化研究者自己的前沿雷达」,它让一个人也能跟上 AI+金融的爆炸式产出。

十、如何使用与扩展这套系统

使用现有 arXiv Radar:直接浏览仓库 论文/AI金融论文整理/ 的 README 与主题页,每篇论文有中文概述与标签,10 秒判断是否深读;配合本教程各章,把前沿论文与基础知识对应。

自己运行 pipeline:设置 ARK_API_KEY 环境变量(豆包 API key),安装依赖(pip install openai),按 cron 每日运行四个脚本,把产出的 markdown 推到自己的 GitHub,拥有自己的雷达。

扩展思路:增加数据源(SSRN/RePEc/顶刊 RSS)、个性化过滤(只保留你的子主题)、深度阅读辅助(用更强 LLM 生成重点论文的深度解读)、与因子研究结合(从论文提取可复现因子思路自动入库)。

十一、本教程的收束

本节是全教程最后一节。从第 1 章入门到第 12 章工具,我们走过了「打基础(1-3)→学 AI(4-6)→深钻研(7-8)→广扩展(9-11)→工具与持续学习(12)」的完整路径。第 12 章的 arXiv Radar 是这套教程的「持续学习引擎」——学完 12 章不是终点,而是用这套雷达持续追踪前沿的起点。量化研究是终身学习,愿你在这条路上越走越远。

本节要点回顾

1. 动机:AI+Finance 论文爆炸,人工筛不现实;用爬虫+LLM 自动化追踪。
2. arXiv Radar 子站:每日日报+主题索引,已索引 962 篇论文,位于 论文/AI金融论文整理/。
3. 四个脚本:arxiv_crawler(抓取)、paper_processor(LLM 摘要)、generate_daily(每日页)、generate_topic_index(主题索引)。
4. arxiv_crawler.py:抓 q-fin 全分类 + ML/AI 关键词搜索;增量检测、去重、时间过滤;LLM 过滤非 q-fin 论文的相关性。
5. paper_processor.py:LLM 生成中文标题/概述/25 标签/核心贡献;JSON 结构化、标签校验、增量处理、容错。
6. generate_daily.py:数据→模板→静态 markdown;标签聚合到 9 主题;GitHub 直接渲染。
7. LLM 两个角色:过滤(快模型 YES/NO)+ 摘要(强模型结构化);按任务复杂度选模型。
8. 通用范式:信息源→抓取→LLM 过滤→LLM 摘要→结构化→静态站点;可迁移到学术/行业/竞品/投资的任何追踪场景。
9. 使用与扩展:浏览现有子站 / 自备 API key 运行 pipeline / 加数据源、个性化、深度解读、与因子研究结合。
10. 教程收束:12 章从基础到前沿到工具,arXiv Radar 是持续学习引擎,学完是起点不是终点。

全教程结束。建议回到你最感兴趣的章节深入,或用 arXiv Radar 持续追踪前沿。量化研究是终身学习,愿你在这条路上越走越远。