3.5 多模态工具包：看图听声的翻译席

3.5 多模态工具包：看图听声的翻译席

本节摘要：多模态工具包是会议的翻译席：把图像、音频、视频材料转成文字描述，让只会"读文本"的协作链路能吃进非文字信息。本节讲三类翻译任务的产出形态、翻译产出的核对方法，以及与秘书处的分工界面——扫描件、图表、录音都归谁管。

本节是专家席位的最后一席，补齐"非文字材料"的空档。会议室里最常见的三类非文字材料：截图与照片（视觉）、录音与电话会议（听觉）、视频与录屏（视听复合）。翻译席的产出永远是文字——它不改变下游协作链路的形态，只改变上游材料的可入性。

一、三类翻译任务的产出形态

不同材料的翻译产出，结构差别很大，混用会让下游无所适从：

图像翻译的产出里最值钱的是文字转录（图里写了什么字）——定价页截图里的价格数字、界面截图里的按钮文案，这些是后续议题的原始证据。场景描述（"这是一张深色背景的定价对比页"）是辅助信息，别让辅助信息挤掉转录主体。

二、翻译产出的核对：数字必须复读

翻译席的风险等级比其他席位高：它可能自信地错。图像模糊、口音偏重、语速过快时，翻译产出的文字可能错得流畅。核对纪律因此比别的席位更硬——凡数字必复读：

def verify_transcription(transcribed: str, hint: dict) -> dict:
    """对翻译席的数字类产出做复读核对。
    transcribed: 翻译产出的文本
    hint: 议题卡给出的预期形态提示，如 {'价格项数': 3, '含百分号': True}"""
    issues = {}
    import re
    numbers = re.findall(r"\d+(?:\.\d+)?", transcribed)
    if "价格项数" in hint and len(numbers) < hint["价格项数"]:
        issues["数量疑点"] = f"预期至少{hint['价格项数']}个数字，实际识别到{len(numbers)}"
    if hint.get("含百分号") and "%" not in transcribed:
        issues["缺失疑点"] = "预期含百分比，产出中未见百分号"
    issues["建议动作"] = ("对疑点处请求翻译席放大重读或逐段重转"
                         if issues and len(issues) > 1 else "核对通过")
    return issues

# 输出：
# verify_transcription("基础版99元 专业版299元", {"价格项数": 3, "含百分号": True})
# -> {'数量疑点': '预期至少3个数字，实际识别到2',
#     '缺失疑点': '预期含百分比，产出中未见百分号',
#     '建议动作': '对疑点处请求翻译席放大重读或逐段重转'}
​

复读不是对翻译席不信任，是把"一次翻译"变成"翻译加复核"的双通道流程——与其让一个错误数字流进差价计算（3.3 的演算席照算不误），不如多花一轮让翻译席自己再读一遍。

三、分工界面：翻译席与秘书处的边界

3.2 秘书处与 3.5 翻译席都做"材料变文本"，分界线画在内容本质上：内容本身是文字的（哪怕载体是文档格式，包括扫描件）归秘书处兜底，扫描件转交翻译席只借用它的图像识别能力；内容本身是非文字的（照片里的实拍信息、录音里的话语、视频里的演示动作）才归翻译席。一条好记的判据：秘书处处理"写了字的东西"，翻译席处理"没写字的东西里出现的字与声"。

def route_material(material: dict) -> str:
    """材料分诊：决定交给秘书处还是翻译席。
    material: {'形态': ..., '内容本质': ...}"""
    if material["形态"] == "扫描件":
        return "翻译席（借用图像识别），产出按秘书处文档格式回档"
    if material["内容本质"] == "文字":
        return "秘书处"
    return "翻译席"

# 输出：
# route_material({"形态": "xlsx报价", "内容本质": "文字"})   -> '秘书处'
# route_material({"形态": "扫描件", "内容本质": "文字"})     -> '翻译席（借用图像识别），产出按秘书处文档格式回档'
# route_material({"形态": "现场照片", "内容本质": "视觉"})   -> '翻译席'
​

案例展开：一张定价截图的完整旅程

背景：贯穿案例后期，团队拿到一张竞品发布会的定价截图（朋友圈转发，图小字糊）。操作：分诊判断内容本质是"图里的字"，派翻译席；首轮转录出两个价格但第三个数字糊掉，复读核对触发数量疑点；议题卡提示应为三档价格，主持人要求放大重读，第二轮补出第三档，并标注"第三档为低置信转录"。结果：三档价格进入演算席，第三档在纪要里以"参考行"呈现（呼应 3.4 的可信度纪律）。解读：这次旅程展示了翻译席的三件套——产出形态、复读核对、置信标注，与情报员的四元组纪律一脉相承：每个环节都在给下游传"确定性等级"，而不是假装一切都确定。

变式：音频类议题（电话会议纪要）把复读核对换成"要点回放"——转写产出后，让翻译席按时间戳回放关键句做二次确认；视频类议题先让翻译席出关键帧索引，主持人挑帧精读，别让整段视频转写淹没上下文。

💡 关键直觉：翻译席产出永远是"带置信度的草稿"。把它当成最终答案直接引用，是本席唯一的重大误用；把它当成"多一道加工工序的原始材料"，它就是会议里最能干的感知器官。

本节要点回顾

• 三类产出：图像转录、音频转写、视频关键帧拼接，结构不同，不可混用；
• 凡数字必复读：数字类产出做二次确认，疑点处放大重读；
• 分诊判据：写了字的归秘书处，没写字的东西里的字与声归翻译席；
• 置信标注：低置信转录降级为参考行，与情报员分级纪律对齐；
• 本章五席到此点齐，第 4 章把五个席位带上真实会场，完整开一场会。