AI 视频生产流水线实战

教程总纲：AI 视频生产流水线实战

全书围绕一条七段流水线展开：脚本、分镜、素材、生成、剪辑、音轨、字幕，最后导出。横看是数据流，竖看是章节——每一段加工都对应一章的工程纵深，段与段之间以 JSON 中间表示衔接。文生视频的模型原理归《多模态大模型》第 8 章第 8.3 节，本书只讲怎么把能力组装成片子。

一、流水线总图

 想法
  │
  ▼
 [1 脚本] ──产出──▶ 剧本 JSON ─────────────────── 第 2 章
  │
  ▼
 [2 分镜] ──产出──▶ 分镜 JSON（人审节点）────────── 第 2 章
  │
  ▼
 [3 素材] ──产出──▶ 素材包 + 生成任务清单 ──────── 第 3、4 章
  │
  ▼
 [4 生成] ──产出──▶ 每镜一条片段 mp4 ───────────── 第 3 章
  │
  ▼
 [5 剪辑] ──产出──▶ 时间线 JSON + 视频轨成片 ───── 第 5 章
  │
  ▼
 [6 音轨] ──产出──▶ 配音、音效与混音 ───────────── 第 6 章（后半本）
  │
  ▼
 [7 字幕] ──产出──▶ 对齐字幕 SRT/ASS ──────────── 第 7 章（后半本）
  │
  ▼
 [导出] ──产出──▶ 成片 mp4 + 合规清单 ─────────── 第 11 章（后半本）

 三条横向纪律贯穿全程（第 1 章）：
 契约 —— 段间只传 JSON，不传隐含状态；
 目录 —— 每段产物分层落盘，版本可回溯；
 重跑 —— 任何一段失败只重跑那一段，不牵连全片。
​

二、逐章简介

第 0 章 导览。把一条 60 秒原创知识短片逐秒拆成七段加工，对照「单模型直出」与「流水线组装」的可控性差异；随后用三十余行代码跑通「两段文字到五秒成片加字幕」的最小闭环，全程本地、零付费 API 依赖。生态热度以经核实的开源项目为坐标（stars 为社区口径，增速需甄别）。

第 1 章 流水线总论。把七段抽象成数据流：每段的输入输出契约、模块可替换性（换 TTS 不动剪辑）、失败隔离与重跑；JSON 中间表示的三个核心结构（剧本、分镜、时间线）与校验；项目目录约定、命名版本与配置驱动的可复现性。这是全书的地基章。

第 2 章 脚本与分镜结构化。LLM 剧本生成的提示词模板（题材、时长、风格约束到剧本 JSON），一次生成与分段生成策略；分镜 schema 的字段全解与剧本到分镜的转换校验；可控性与迭代——改一场不改全片的粒度设计、种子与温度、人审节点的最佳位置。

第 3 章 文生视频与图生视频。主流 API 的调用形态（提交、轮询、下载三段式，写法示意）、分辨率时长帧率参数、排队与限流处理；图生视频的首尾帧技巧、运镜提示词、多镜头一致性的工程缓解；LTX-2 等开源模型的本地跑法概览与本地和 API 的对照选型。模型原理回指《多模态大模型》第 8 章第 8.3 节。

第 4 章 素材层。文生图做分镜参考与素材、免费素材源的合规使用、素材元数据与去重；素材、音乐、字体的授权类型，AI 生成内容的版权现状，以及发布前的合规清单。素材采集的浏览器自动化路线与《浏览器智能体实战》互引。

第 5 章 时间线与合成。ffmpeg 作为流水线胶水：拼接、转码、分辨率统一、时长控制与命令族速查；moviepy 从分镜 JSON 驱动时间线的自动剪辑骨架，转场、文字叠加与画中画；hyperframes 代表的 HTML 渲染路线——用 Web 技术做动态图形再录制成片，适合信息可视化类内容。

第 6 章 音频层（后半本）。TTS 配音的批量生成与音色管理、音效铺底、响度规范与混音，ASR 与 TTS 原理引用 ai-engineering-from-scratch 第 7 章。

第 7 章 字幕与对齐（后半本）。Whisper 逐镜对齐、断句与样式、多语言字幕的导出。

第 8 章 Agent 编排（后半本）。把七段串成一条命令：任务队列、重试策略、人审门与断点续跑，OpenMontage 等智能体式系统的编排思想对照。

第 9 章 短剧实战（后半本）。一句话剧本到成片的全案复盘，huobao-drama、Toonflow 等短剧工具的路线对照。

第 10 章 质量与成本（后半本）。抽检与评估方法、每段成本核算、供应商与本地部署的预算权衡。

第 11 章 发布与合规（后半本）。平台规范差异、AI 生成内容标识义务的履行方式、素材授权链的留存。

附录 A、B、C（后半本）。命令速查、schema 汇总与故障排查清单，具体篇目以后半本成稿为准。

三、阅读建议

零基础从第 0 章顺序读到第 5 章即可获得完整骨架；有工程背景的读者可跳过第 0.2 节的环境细节，但不要跳过第 1 章——契约、目录、重跑三条纪律是全书所有代码的默认前提。后半本在第 5 章交出「无音轨成片」后接续，两半可独立阅读，但共用同一套 JSON 契约与术语。