AI 视频生产流水线实战 · 第 06 章 音频层

AI 视频生产流水线实战 · 第 06 章 音频层

章节摘要：画面负责"看见"，音频负责"听懂"，而观众对听觉瑕疵的容忍度远低于对画面的容忍度。本章为流水线补上音频层：6.1 节做 TTS 配音，比较云端 API 与本地模型两种调用形态，给出多角色音色分配表与语速、停顿、多音字的工程控制方法，原理层可回看 ai-engineering-from-scratch 第 07 章《语音与音频》；6.2 节做音效与混音，讲音效选配的克制原则、BGM 随台词自动闪避的 sidechaincompress 思路，以及面向平台口径的响度归一化；6.3 节做音画对齐，介绍"先配音、后剪辑"的流水线变体——用台词实测时长反推镜头时长，并给出文件级、时长级、内容级三层对齐校验。读完本章，你的片子第一次"听得清，也听得舒服"。

学习目标

• 说清 API 与本地两种 TTS 接入形态在成本、延迟、音色与隐私上的权衡。
• 为多角色剧本建立稳定的音色映射表，保证同一角色全片同一个声音。
• 用语速参数、标点与停顿规则让配音贴合叙事节奏，并处理多音字。
• 用 ffmpeg 滤镜链完成台词、音效、BGM 三轨混音与自动闪避。
• 按平台口径完成全片响度归一化，并理解两遍法为什么必要。
• 用"先配音后剪辑"变体从台词时长反推镜头时长并通过对齐校验。

核心概念速览

第 05 章时间线上的轨，本章把音频侧填满，并让它们与画面咬合

 画面轨（第 03/05 章）  ┌──────────────────────────────────────┐
                      │ 镜头01    镜头02    镜头03    镜头04   │
 台词轨（6.1 TTS 配音） │ 台词01    台词02    台词03   （静音）  │
 音乐轨（6.2 混音闪避） │ BGM ═══════════════╗被台词自动压低    │
 音效轨（6.2 音效选配） │        敲门声 ──┘  雨声（垫底）       │
                      └──────────────────────────────────────┘
 6.3 音画对齐：台词实测时长 ──反推──▶ 镜头生成时长 ──校验──▶ 放行合成
​

一句话金句：观众能原谅不够惊艳的画面，很难原谅听不清的台词。

子章节导航

• 第 6.1 节《TTS 配音》：API 与本地两种调用形态、角色音色映射表、语速与停顿控制、逐句生成的产物组织与听检清单。
• 第 6.2 节《音效与混音》：三轨模型、音效选配原则、BGM 自动闪避、响度归一化与混音验收。
• 第 6.3 节《音画对齐》：先配音后剪辑的流水线变体、台词时长反推镜头时长、三层对齐校验与修不同步的手段。

三节按序读：6.1 的产物（逐句配音文件与时长表）既是 6.2 混音的输入，也是 6.3 反推镜头时长的依据。

子章节之间的逻辑关系

┌──────────────┐  逐句wav+时长表  ┌──────────────┐  混好的成片音轨 ┌──────────────┐
│ 6.1 TTS 配音  │ ─────────────▶ │ 6.2 音效混音  │ ─────────────▶ │ 6.3 音画对齐  │
│ 音色/语速/停顿 │                │ 三轨+闪避+响度 │                │ 反推+三层校验 │
└──────┬───────┘                 └──────────────┘                 └──────┬───────┘
       │ 台词时长                                                        │ 对齐报告
       └──────────▶ 镜头时长规划（反哺第 03 章生成参数）◀─────────────────┘
                                  ▼
                第 07 章《字幕与对齐》（ASR 把配音转写回来做反向校验）
​

前置知识与后续延伸

• 前置：第 02 章《脚本与分镜结构化》——台词字段的 JSON 结构是本章所有脚本的输入；第 05 章《时间线与合成》——本章产物最终落进时间线的音频轨。
• 原理延伸：ai-engineering-from-scratch 第 07 章《语音与音频》——TTS 与 ASR 的模型原理，本章只谈工程接法，不重复推导。
• 后续：第 07 章《字幕与对齐》用 Whisper 把配音转写回来，反向核对内容与时间；第 10 章《质量与成本》把音量、时长纳入质量门禁，把 TTS 字符数计入成本台账。

版权与合规提醒：本节涉及的素材、音乐与模型生成内容均需确认授权；成片发布时应遵守平台规范并按当地法规履行 AI 生成内容标识义务。