文档摘要

04 语音模式与语义化 UI 控制 本节摘要:这是第 11 章的收尾。OpenWork 支持语音模式——用户能用说话控制界面。这背后靠的是语义化 UI 控制:语音 Agent 不直接点像素,而是通过语义化操作工具(列举动作/执行动作)操控界面。本节讲清这套机制,以及为什么「语义化」让语音控制跨界面工作。 一、语音模式:说话控制界面 OpenWork 的语音模式让用户能用说话控制界面: 这让用户不用手——边走边说就能操作。这对无障碍、多任务场景很有价值。 二、为什么不直接点像素 朴素想法:语音 Agent 识别完,直接「点坐标」控制界面(模拟点击 X,Y 位置)。但这有严重问题: 脆弱:界面布局一变,坐标全错。 不跨界面:不同界面尺寸/布局,坐标不同。

---