2.3 RGB-D图像与TSDF融合

2.3 RGB-D 图像与 TSDF 融合：从传感器帧到稠密模型

本节摘要：RGB-D 图像是深度相机（RealSense、Kinect 类）的原生输出——像素级对齐的彩色图加深度图。本节讲三个层次：内参如何把一帧 RGB-D 反投影成点云；为什么单帧点云不能直接拼接而要引入 TSDF 体积融合；ScalableTSDFVolume 的使用流程与参数选择，把手持扫描的多帧数据变成一个带颜色的稠密模型。

上手前先明确

阅读完本节，你应当能够：

1. 写出从 RGB-D 帧到点云的反投影代码，解释内参矩阵每个元素的作用；
2. 说明 TSDF 的截断思想、加权平均更新规则，以及它比"点云直接拼接"强在哪；
3. 配置体积积分与提取点云/网格的完整流程，并选对体素长度与截断距离；
4. 排查"融合结果缺一块/有鬼影"两类典型故障。

一、问题与直觉：单帧点云为什么拼不成模型

手持深度相机绕物体扫一圈，朴素做法是：每帧反投影成点云，按位姿变换到世界系，全部拼接。这条路有三个坑。其一，冗余爆炸：一千帧 × 三十万点，其中绝大多数点是同一块表面的重复观测。其二，噪声不平均：同一块桌面被观测了五百次，每次都有一点测量误差，直接拼接等于保留了五百份误差，表面厚成一层"壳"。其三，遮挡鬼影：不同帧看到的是不同时刻，前景后景混在一起出现重影。

TSDF（截断符号距离场）的思路换了个方向：不在点空间累积，而在体素空间平均。把世界划成体素格子，每个格子记两个数：它到最近表面的有符号距离（外正内负，太远就截断）和一个权重。每来一帧，沿光线方向更新路径上体素的这两个数——多次观测加权平均，噪声被自然抹平，重复信息被权重吸收。最后从距离场里抽取零等值面，得到的就是"全体帧投票表决"出来的光滑表面。

类比：点云拼接像把五百张描图纸叠在一起看，线条越叠越粗；TSDF 像把五百张照片做长时间曝光平均，背景噪声消掉，主体清晰浮现。

二、逐层拆解

2.3.1 反投影：内参是点云的"出生证明"

深度图存的是每个像素的深度值 z，反投影公式只有一行：已知像素坐标、内参 fx、fy、cx、cy，则三维点为（x-cx 乘 z 除 fx，y-cy 乘 z 除 fy，z）。Open3D 把它封装好：

import open3d as o3d

color = o3d.io.read_image("color.jpg")
depth = o3d.io.read_image("depth.png")
rgbd = o3d.geometry.RGBDImage.create_from_color_and_depth(
    color, depth,
    depth_scale=1000.0,        # 深度图 1000 表示 1 米（RealSense 约定）
    depth_trunc=3.0)           # 超过 3 米的观测丢弃
K = o3d.camera.PinholeCameraIntrinsic(640, 480, 525.0, 525.0, 319.5, 239.5)
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd, K)
pcd.transform([[1,0,0,0],[0,-1,0,0],[0,0,-1,0],[0,0,0,1]])  # 相机系转视觉惯例系
​

三个参数别糊弄。depth_scale 各厂商约定不同（RealSense 是 1000，Kinect v1 是 1000 但有效位深不同），错了整个场景的尺度会差一千倍；depth_trunc 砍掉远端噪声，室内 3 米合适；内参最好用标定后的真值，出厂参数在镜头装配误差下可能偏好几个像素，反投影出来的点云会有可感知的畸变。

2.3.2 体积积分：ScalableTSDFVolume 流程

Open3D 提供的 TSDF 实现（voxel hashing 版本，可动态扩展空间）：

volume = o3d.pipelines.integration.ScalableTSDFVolume(
    voxel_length=4.0 / 512.0,     # 体素约 7.8 毫米
    sdf_trunc=0.04,               # 截断距离 4 厘米
    color_mode=o3d.pipelines.integration.TSDFVolumeColorMode.RGB8)

for color_path, depth_path, pose in 帧序列:
    rgbd = ...                    # 同上构造
    volume.integrate(rgbd, K, np.linalg.inv(pose))  # 位姿是世界到相机

mesh = volume.extract_triangle_mesh()   # 或 extract_point_cloud
​

流程读作：对每一帧，先把 RGB-D 帧连同相机位姿"积分"进体积，全部帧积完，从体积里提取结果。位姿从哪来是这个 pipeline 的灵魂问题——Open3D 本身不内置跟踪，位姿要靠 ICP 逐帧配准（2.1 节的技能）、外部跟踪系统（机械臂、动作捕捉）或视觉 SLAM 提供。位姿错一帧，那一帧的表面就投到错误位置，出现"双层墙"鬼影。

参数手感：voxel_length 决定最终分辨率，常取"期望细节尺寸的一半"，桌面级物体扫描用 2 到 8 毫米；sdf_trunc 决定"多远的观测还算数"，通常设为 3 到 4 倍体素长度，太小表面出现孔洞，太大边缘糊成一团。

2.3.3 结果提取与后处理

extract_triangle_mesh 得到 marching cubes 网格，可直接接 2.2 节的简化平滑交付；extract_point_cloud 更轻，适合下游还要做配准或特征提取的场景。融合网格的常见毛病是背面残渣——相机没扫到的区域，体素权重极低但距离值残留，提取出薄薄一层碎片。解法按顶点权重过滤：Open3D 没直接暴露体素权重查询，工程上常用"连通块分析 + 删除小碎片"或干脆对提取点云做统计滤波替代。

三、工程实践要点

帧不必全用。手持扫描 30fps 一分钟一千八百帧，相邻帧高度冗余，每秒抽一到两帧足够，融合速度提升一个量级而质量几乎无损。挑选时优先位姿间隔均匀的帧（转角处加密），而不是等时间间隔。

尺度闭环检查。融合前记录一个已知尺寸参照物（标定板、A4 纸），融合后量一量它的尺寸，检验 depth_scale 与位姿尺度是否自洽。尺度错 5%，打印出来的工件就废了。

GPU 时代的选择。legacy 的 ScalableTSDFVolume 是 CPU 实现，速度中等。若需要实时融合，Tensor 接口的体素哈希（o3d.t.geometry.VoxelBlockGrid）提供 GPU 版本，速度提升一个量级，思路完全一致，学完 legacy 再迁过去很平滑。

⚠️ 常见坑：integrate 的第四个参数传了相机位姿而不是它的逆矩阵，结果整个体积"空转"——没有报错，但提取出来什么都没有。方向约定（外参是 world-to-camera 还是 camera-to-world）是 TSDF 融合翻车率第一名的坑，传参前务必核对文档约定并用第一帧做个最小验证。

💡 关键直觉：TSDF 融合的哲学是"先离散化世界，再让观测投票"。它把"如何对齐几百万个点"转化为"如何更新几百万个小格子的两个数字"，后者天然可增量、可并行——这是它能实时化的根本原因。

四、参数与故障对照表

TSDF 融合的故障现象高度模式化，对照下表排查比翻文档快：

其中"尺度自检"值得展开一步：在场景里放一张 A4 纸（297 毫米长边），融合完成后在模型上量两个对应点的距离。量出来 0.297 上下，尺度链路就是通的；差出一个量级，depth_scale 或位姿单位必有一处错。这个五分钟的仪式，能拦住"打印出来才发现小了一半"级别的灾难。

常见疑问

问：TSDF 融合需要 GPU 吗？
答：legacy 的 ScalableTSDFVolume 是 CPU 实现，小场景够用；要实时或大场景，用 Tensor 侧的体素哈希（GPU 加速），思路与流程一致。

问：帧数越多越好吗？
答：超过一定密度后收益递减。相邻帧高度冗余时，每秒抽 1–2 帧、按位姿间隔均匀选取，质量几乎不掉、速度翻倍。

问：能不能只融合几何不要颜色？
答：可以，构造体积时 color_mode 选无色模式，省内存也更快；颜色后面也能从照片贴回（3.3 文保案例的做法）。

问：融合完能直接得到水密网格吗？
答：提取出的是等值面网格，通常接近水密但边缘可能有小洞。要不要补洞取决于用途，交付打印前按 2.2 节流程再查一遍水密性。

最后给一张深度相机的"脾气对照表"，选设备与定参数时都用得上：

理解设备脾气再定融合参数，比背参数表有用得多：结构光设备的 sdf_trunc 可以小（噪声低），双目设备要放大（边缘噪声高）；室内 ToF 可以放心高分辨率体素，车载雷达必须先解决稀疏性再谈融合。参数是设备与算法之间的翻译，两头都要懂一点。

五、深入一层：TSDF 更新规则的直觉推导

把"截断"与"加权平均"这两个词拆开讲透，你会对 TSDF 参数有全新的手感。

为什么截断。相机射线穿过体素时，理论上每个体素都能算个距离（射线方向上，体素在观测表面之前为正、之后为负）。但深度测量有误差，离表面很远的体素算出的距离毫无意义——噪声被距离放大。截断的含义是：只关心表面附近一小段（正负 sdf_trunc 之内），更远的一律钳到边界值。这就是 sdf_trunc 的本质：你对"表面附近"的定义宽度。太窄，稍远的观测全被丢弃，表面出现孔洞；太宽，远处噪声混进平均，边缘发糊。

为什么加权平均。同一格子的距离观测有多次（多帧都看见它），直接取最后一次则噪声全保留，取平均则逐步收敛到真值。权重的设计里还有巧思：射线越垂直于表面，观测越可信（斜射时深度误差被角度放大），所以权重里含入射角余弦。多次观测的噪声就这样被"投票"抹平——2.3 开头说的"五百份误差"问题，在这里有了数学着落。

理解到这一层，参数就不再是玄学：voxel_length 是"你允许的最小细节"，sdf_trunc 是"你信任的表面邻域宽度"，两者的比值（3–4 倍）是 marching cubes 能稳定工作的经验带。

反投影与融合的流程全景

时序图把"每帧独立积分、最后统一提取"的两阶段结构画清楚了——中间过程不产生输出，所以中途随时可以继续加帧，这就是"增量式建图"的弹性所在。

要点串联

• 单帧拼接三宗罪：冗余爆炸、噪声成壳、遮挡鬼影；TSDF 用体素空间的加权平均一次性解决。
• 反投影靠内参：fx/fy/cx/cy 加 depth_scale，厂商约定与标定误差都不能糊弄。
• 融合流程：构造体积 → 逐帧 integrate（需要外部位姿）→ 提取网格或点云。
• 参数两旋钮：体素长度定分辨率，截断距离取体素长的 3 到 4 倍。
• 位姿质量决定融合质量：ICP/SLAM/外部跟踪，错一帧出一层鬼影。
• 工程技巧：抽帧不等时间等角度、参照物量尺度、实时场景换 Tensor 体素哈希。

体积融合把世界装进了体素，下一节正式把"体素"当作主角——规则网格与八叉树这两把空间索引的瑞士军刀。