OpenViking · 第 6 章 资源入库:多模态解析

OpenViking · 第 6 章 资源入库:多模态解析

章节摘要：漫游动作:put 入库。资源从哪里来?parse/ 全家桶把 PDF/Office/EPUB/OCR/ASR/视频/tree-sitter 代码 AST/飞书文档统统解析成文本,vlm.py 在旁辅助;ingest 编排层(orchestrator/poller/sources)负责调度与递归网页爬取,入库的同时生成分层 sidecar。

漫游坐标

学习目标

• 盘点 parse/ 解析全家桶:PDF/Word/PPT/Excel/EPUB、图像 OCR、音频 ASR、视频
• 理解 tree-sitter 代码 AST 解析(十语言)与飞书文档解析;vlm.py 辅助难啃的多模态
• 理解 ingest 编排:orchestrator 调度、poller 轮询、sources 递归网页爬取
• 打通闭环:入库时自动生成 L0/L1/L2 分层 sidecar

子章节导航

01 parse 全家桶与 VLM 辅助

PDF/Office/EPUB/OCR/ASR/视频/tree-sitter 代码 AST 十语言/飞书文档;vlm.py 辅助解析。

02 ingest 编排与 sidecar 生成

orchestrator 总调度、poller 轮询、sources 递归网页爬取;入库即生成分层 sidecar。

前置知识与后续延伸

• 前置知识:第 3 章分层生成(入库是 sidecar 的出生地)
• 后续延伸:第 7 章看解析产物落进哪层存储;飞书文档解析是国内团队接入捷径