AI 视频生产流水线实战 · 第 3 章 文生视频与图生视频

AI 视频生产流水线实战 · 第 3 章 文生视频与图生视频

章节摘要：本章做生成段：拿着分镜施工图向视频生成模型要画面。3.1 节讲 API 的调用形态——主流服务几乎都是「提交任务、排队轮询、下载产物」三段式，参数集中在分辨率、时长、帧率三件事上，全片统一是铁律；排队与限流的重试策略写进代码骨架（写法示意，以各官方文档为准）。3.2 节讲控制手段：图生视频的首尾帧技巧（首帧定开场、尾帧定落幅，跨镜头还能用上一镜的尾帧接下一镜的首帧）、运镜提示词的词表化写法、多镜头一致性问题的工程缓解——设定卡、参考图、固定种子、转场遮挡四板斧。3.3 节讲本地路线：以 LTX-2 为代表的开源模型本地跑法概览与硬件量级（示意），本地与 API 的六维对照，以及按团队阶段的选型建议。模型原理不在本书：扩散与 Sora 范式见《多模态大模型》第 8 章第 8.3 节。

学习目标

• 画出提交、轮询、下载三段式调用形态，并实现带指数退避的轮询。
• 说出分辨率、时长、帧率参数的取值约束与「全片统一」的理由。
• 区分文生视频与图生视频两类任务，说明首尾帧各自的用途。
• 用词表化的运镜提示词改写分镜的 camera 字段。
• 列出多镜头一致性问题的四类工程缓解手段及其局限。
• 给出本地与 API 的对照结论，并为三种团队阶段各选一条路线。

核心概念速览

 生成段的两类任务与一个老大难

  文生视频                    图生视频
  ┌──────────────┐          ┌──────────────┐
  │ prompt 进      │         │ 首帧图(+尾帧图) │
  │ 片段出         │         │ prompt 进      │
  │ 自由但易漂移    │         │ 片段出         │
  └──────────────┘          │ 画面锚定在图上  │
         │                   └──────────────┘
         └──────────┬──────────────┘
                    ▼
          多镜头一致性：镜头 101 的主角与 102
          是不是同一个人？——工程缓解，非根治
​

一句话金句：文生视频给惊喜，图生视频给把握——流水线上要的是把握。

子章节导航

• 第 3.1 节《API 调用与参数》：三段式形态、参数三件事、排队轮询与限流重试。
• 第 3.2 节《首尾帧与镜头控制》：首尾帧技巧、运镜词表、一致性四板斧。
• 第 3.3 节《本地模型概览》：LTX-2 跑法概览、硬件量级、本地与 API 对照选型。

先读 3.1 会调用，再读 3.2 会控制，最后 3.3 决定走云还是走本地。

子章节之间的逻辑关系

 ┌──────────────┐   能调通之后谈控制   ┌──────────────┐   会控制之后谈部署   ┌──────────────┐
 │ 3.1 API 调用   │ ────────────────▶ │ 3.2 首尾帧     │ ────────────────▶ │ 3.3 本地概览   │
 │ 三段式+参数     │                   │ 运镜+一致性     │                   │ LTX-2+对照     │
 └──────┬───────┘                   └──────┬───────┘                   └──────┬───────┘
        │ 产物：可用的生成客户端               │ 产物：可控的生成任务                    │ 产物：部署选型
        └──────────────────────┬───────────┴───────────────────────────────────┘
                               ▼
              第 4 章素材层（首帧从哪来：文生图与素材库）
​

前置知识与后续延伸

• 前置：第 2 章的分镜 JSON；一家视频生成服务的账号（3.3 节的本地路线则不需要）。
• 延伸阅读：《多模态大模型》第 8 章《前沿应用与生成》第 8.3 节《文生视频架构-Sora范式》——本章所有调用的对象在原理侧是什么；LTX-2 官方仓库（Lightricks/LTX-2）——本地跑法的第一手资料，stars 约 9.8k（社区口径，增速需甄别）。
• 后续：第 4 章解决首帧图的来源；第 9 章（后半本）短剧实战把本章手段全用一遍。

版权与合规提醒：本节涉及的素材、音乐与模型生成内容均需确认授权；成片发布时应遵守平台规范并按当地法规履行 AI 生成内容标识义务。