2.4 输入外设：手柄、手势、触觉

2.4 输入外设：手柄、手势、触觉

本节摘要：头显解决了"看+听"，剩下的"手/脚/眼"需要输入外设。当前 XR 的输入外设分三大流派：手柄（精准+振动反馈）、手势（自然+零设备）、触觉手套（高保真+贵）。本节对比三类外设的精度、延迟、反馈三个指标，再用一个跨平台 demo 演示"在 Quest 3 上用 XR Interaction Toolkit 接入手柄+手势+眼动三种输入"。

读完你能掌握

阅读完本节，你应当能够：

1. 解释手柄、手势、眼动、触觉四种输入外设的工作原理。
2. 说出 XR 交互设计里"必须用哪种输入"的判断框架。
3. 在 Unity 里用 XR Interaction Toolkit 接入至少 2 种输入。
4. 描述触觉反馈的不同形态（振幅、频率、温度、力反馈）的工程意义。

一、问题与直觉

头显只解决"输出"（视觉、听觉），但"操作"还需要"输入"——手在虚拟里做什么、眼睛看哪里、身体怎么移动。XR 输入外设的工程取舍是**"精度-反馈-自然度"三角**：

• 手柄：精度高、反馈强、自然度低。
• 手势：精度中、反馈弱、自然度高。
• 眼动：精度极高、反馈无、自然度高。
• 触觉手套：精度高、反馈极强、自然度中。

一个具体 XR 应用选哪种外设，取决于"主交互"是什么——"瞄准+射击"用手柄、"调虚拟物体"用手势、"快速选择"用眼动、"模拟手术器械"用触觉手套。

二、手柄：精准+振动的工业之选

手柄是 XR 历史最久、用户基数最大的输入外设。Quest 3 手柄、PSVR2 Sense、Valve Index Controller 各自代表不同的设计取向。

Quest 3 手柄的核心规格：

• 6DoF 头手追踪（基于头显摄像头的 Inside-out 红外追踪）
• 2 个模拟摇杆 + 1 个扳机 + 1 个握把按键 + 2 个面键
• LRA（线性谐振致动器）振动电机，可编程 0-300Hz
• 单节 AA 电池，续航约 80 小时
• 重量 126g

PSVR2 Sense 把"自适应扳机"做到位：拉弓时扳机阻力会从 0 渐变到 5N，模拟弓弦张力。这种"自适应阻力"是手柄向"力反馈"靠拢的关键演进。

Valve Index Controller 用"握把追踪"——手柄可以追踪单根手指的开合，让"自然握"成为可能。这是手柄向"手套"靠拢的另一种演进。

💡 关键直觉：手柄的"工业之选"地位短期内不会被替代。在要求 1cm 精度以上的场景（外科手术模拟、CAD 设计），手柄的精准度是手势跟不上的。

三、手势：自然但反馈弱

手势识别（Hand Tracking）分两类：

• 基于摄像头的手势识别：用头显上的鱼眼摄像头拍手部，AI 模型识别 21 个关节点。Quest 3、HoloLens 2、Vision Pro 都用这一派。延迟 30-50ms，精度 1-2cm，遮挡下手丢失。
• 基于 EMG 的手势识别：用表面肌电传感器识别前臂肌肉电信号，预测手指动作。Meta 的 sEMG 手环（2024 年原型的肌电腕带）能识别"轻捏""双指捏""握拳"等 6-8 种手势，延迟 <10ms，但目前识别种类有限。

手势的优势是零设备、自然度最高；劣势是反馈弱、长时间抬手会疲劳。在 Vision Pro 上，UI 设计的核心思路是"轻抬手指 + 眼动选目标 + 捏合确认"——这是手势+眼动组合的典型范式。

四、眼动：高精度但无反馈

眼动追踪（Eye Tracking）在 Quest Pro、PSVR2、Vision Pro、Pico 4 Pro 上是高端机型标配。它的工程关键是红外照明+红外摄像头：

• 红外 LED 照亮眼球（对人眼不可见）
• 红外摄像头拍下瞳孔+角膜反射斑
• AI 模型估计注视点坐标
• 延迟 10-15ms，精度 0.5-1°

眼动有两个核心应用：

1. 注视点渲染（Foveated Rendering）：只对注视点附近 20% 区域做全分辨率渲染，剩下 80% 降采样到 1/4 分辨率。这能把 GPU 负载降 30-50%——是 VR 头显"用得起高分辨率"的关键。
2. UI 选择：Vision Pro 的"看哪儿就选哪儿、捏合就确认"是这个范式的代表。

眼动的劣势是完全没有"触觉反馈"——眼睛选中一个目标后必须配合手势/手柄才能确认。这是为什么眼动几乎不单独使用，而是和手势或手柄组合。

五、触觉手套：高保真但贵

触觉手套是 XR 输入外设的"奢侈品"。主流有：

• HaptX Gloves G1：每个指尖有 100+ 个微型气动执行器，能模拟"按下按钮"和"接触表面"的力反馈。重量 500g，价格 6000+ 美元。
• Manus Polygon：惯性手套 + 指尖振动电机，价格 10000+ 美元。
• SenseGlove Nova：外骨骼式力反馈，单手 1100g，价格 5000+ 美元。

触觉手套的工业场景是"需要高保真操作"的任务——外科手术模拟、装配培训、虚拟实验室。消费场景目前还没有 PMF。

六、四类外设的取舍矩阵

七、动手演示：用 XR Interaction Toolkit 接三种输入

下面这段代码在 Quest 3 上同时启用"手柄按键 + 手势捏合 + 眼动选择"三种输入，让一个虚拟按钮在三种方式下都能被点击：

// XR Interaction Toolkit 3.x：交互器配置
public class MultiInputButton : MonoBehaviour
{
    [SerializeField] private XRSimpleInteractable button;  // 按钮本身

    void Start()
    {
        // 1. 接入手柄（XR Controller）
        // 2. 接入手势（XR Hand）
        // 3. 接入眼动（XR Eye Gaze）

        // 在 Unity 编辑器里，添加三种 Interactor 到场景：
        //   - XR Ray Interactor（手柄射线）
        //   - XR Hand Interactor（手势捏合）
        //   - XR Gaze Interactor（眼动）
        // 它们都能 select 同一个 XRSimpleInteractable

        button.selectEntered.AddListener(args => {
            Debug.Log($"按钮被 {args.interactorObject} 选中");
            // 触发按钮逻辑
        });
    }
}
​

跑起来后你会看到：用手柄射线瞄准+扳机确认、用手势捏合确认、用眼动注视 1 秒+捏合确认——三种方式都能触发同一个按钮。这种"多模态输入"是 Vision Pro 的标志能力，但 Quest 3 + XR Interaction Toolkit 也能配出来。

本节要点回顾

• XR 输入外设分手柄、手势、眼动、触觉手套四派，取舍矩阵是"精度-反馈-自然度"三角。
• 手柄短期内是工业首选，1cm 精度远超手势。
• 眼动主要做注视渲染+UI 选择，单独不能形成完整交互。
• 触觉手套贵但高保真，消费 PMF 还没出现。
• XR Interaction Toolkit 让你用一份代码接三种输入，是跨平台交互的工程基础。

下一章我们从硬件层走到算法层——SLAM、立体视觉、空间重建这些"看不见的引擎"是怎么把硬件能力变成"可信的虚拟"的。