3.2 Open3D-ML机器学习模块

3.2 Open3D-ML：给点云配上深度学习

本节摘要：Open3D-ML 是 Open3D 的机器学习子包，把点云深度学习的三件套——数据集接口、模型库、训练/推理管线——封装在统一 API 下，底层可切换 PyTorch 或 TensorFlow。本节讲它的定位与安装、语义分割任务从数据到推理的完整流程、代表性模型（RandLA-Net、KPConv 等）的选择，以及 Tensor 接口如何让点云在 Open3D 与 PyTorch 之间零拷贝往返。

学习目标

阅读完本节，你应当能够：

1. 说明 Open3D-ML 解决的是"点云深度学习工程化"的哪些痛点；
2. 描述一次语义分割任务的完整流程：数据集 → 模型 → 训练 → 推理 → 可视化；
3. 在 RandLA-Net 与 KPConv 两类模型间按数据规模与资源做取舍；
4. 用 Tensor 接口把点云送进 PyTorch 模型并取回结果。

一、问题与直觉：点云深度学习难在哪

图像深度学习有 PyTorch + torchvision 的成熟闭环：数据加载、模型、训练循环都是现成积木。点云没有这种待遇，难在三件事。无序性：一百万个点没有固定顺序，卷积不能直接搬过来，模型都得自己处理排列不变性。不均匀密度：近处密远处稀，同一把椅子在不同距离的点密度差几十倍。数据格式碎片化：各个实验室的数据集格式、标注方式五花八门，光写数据加载器就要一周。

Open3D-ML 的切入点正是第三件（第一二件由收录的模型解决）：统一数据集接口 + 统一模型调用方式 + 复用你已经熟悉的框架。它不发明新轮子，而是当"点云深度学习的胶水层"。

安装上它随主包分发（pip install open3d 即含 open3d.ml 命名空间），但要真正训练还需安装对应的深度学习框架；torch 路线是当前社区主线。

二、核心流程：一次语义分割的完整走法

语义分割回答"每个点属于什么类别"——地面、墙、桌子、椅子。这是点云深度学习最典型的任务，也是机器人与自动驾驶的共同底座。

2.1 数据集：统一接口吃百家饭

from open3d.ml import datasets

ds = datasets.SemanticKITTI(dataset_path="数据目录")
split = ds.get_split("train")
data = split.get_data(0)          # 点坐标、颜色、标签一次到手
print(data["point"].shape, data["label"].shape)
​

统一接口的价值在于换数据集不换代码：SemanticKITTI 换成 S3DIS，业务代码里只有数据集类名一行变化。标注格式、目录结构的差异被封装在 Dataset 类内部。

2.2 模型：两大流派的选择

RandLA-Net 的设计哲学很值得借鉴：处理百万点大场景，与其设计复杂的采样，不如随机采样（快）+ 强力的局部聚合模块（把随机采样的信息损失补回来）。KPConv 反其道，把 2D 卷积的"核"概念严谨地推广到三维空间，精度上限高但计算重。工程起手我建议 SPVCNN 或 RandLA-Net：前者精度速度均衡，后者部署轻。

2.3 训练与推理：配置驱动的管线

Open3D-ML 的训练走"配置文件"路线，模型、数据集、优化器超参全写在一份配置里，命令行一行启动。这种设计的好处在复现实验：配置文件即实验记录，改一个参数就是一次可控的对照。

推理侧把模型当成"逐点分类器"用：

import open3d.ml.torch as ml3d

pipeline = ml3d.pipelines.SemanticSegmentation(model=模型, dataset=数据集)
pipeline.load_ckpt(检查点路径)          # 载入训练好的权重
result = pipeline.run_test(数据)         # 输出逐点标签
​

输出的逐点标签回到第 2 章的技能上：pcd.colors 按类别上色（3.1 节的可视化），或者按标签把点云切成实例（2.1 节的 select_by_index），语义信息立刻变成可操作的结构。

2.4 Tensor 接口：与 PyTorch 零拷贝握手

Open3D-ML 之下，真正打通两个世界的是 Tensor 接口（1.4 节埋的伏笔）：

import torch
from open3d import core as o3c

t = o3c.Tensor([1.0, 2.0, 3.0])
th = torch.utils.dlpack.from_dlpack(t.to_dlpack())   # Open3D → PyTorch，零拷贝
back = o3c.Tensor.from_dlpack(torch.utils.dlpack.to_dlpack(th))  # 回程
​

通过 DLPack 这一通用张量交换协议，点云数据在 Open3D 与 PyTorch 之间传递不需要复制缓冲区，百万点点云往返的开销接近零。这一招在自定义训练循环里是标配：预处理用 Open3D（滤波、法线、体素化都是 C++ 速度），训练用 PyTorch，中间无拷贝。

三、工程实践要点

预处理管线放在 Open3D 侧。深度学习同学常把滤波、下采样也塞进 PyTorch 的 Dataset 类里用 NumPy 写，慢且难维护。正确分工：几何处理交给 Open3D（快一个量级），Dataset 只做"读缓存 + 变张量"。

大场景切块推理。整街区的点云显存装不下，标准做法是空间切块（2.4 节的体素/八叉树正好用上）、逐块推理、边界处重叠一块以避免接缝。重叠区两块的预测不一致时，取置信度高者。

别急着训练。很多"需要 AI"的场景，RANSAC 平面分割加 DBSCAN 聚类（2.1 节）就能解决，零标注零训练。深度学习的入场券是"规则写不出来的类别区分"，比如桌上的杯子与笔筒——先用几何方法试试，再决定要不要上模型。

⚠️ 常见坑：open3d 与 torch 的版本组合有讲究，CUDA 版 torch 配 pip 版 open3d 时 GPU 路径可能不通。配置训练环境时按官方对齐的版本组合装，别各装各的最新版。

💡 关键直觉：Open3D-ML 的价值不在"更聪明"，而在"更顺"——数据加载、模型调用、框架切换的工程摩擦被抹平后，你的时间才能花在网络结构与标注质量这些真正的瓶颈上。

四、动手走一遍：最小推理示例

不训练也能摸到 ML 模块的脉搏——用官方提供的预训练权重做一次推理。以 torch 后端的语义分割为例，骨架如下（实际运行需装 torch 并下载预训练模型）：

import open3d.ml.torch as ml3d

# 组装：数据集 + 模型 + 管线
dataset = ml3d.datasets.SemanticKITTI(dataset_path="数据目录")
model = ml3d.models.RandLANet(d_in=3, num_classes=19)     # xyz 输入 19 类
pipeline = ml3d.pipelines.SemanticSegmentation(model=model, dataset=dataset)

# 载入官方预训练权重，跑一次推理
pipeline.load_ckpt("randlanet_semantickitti.pth")
result = pipeline.run_test(dataset.get_split("test").get_data(0))
labels = result["predict_labels"]      # 每个点一个类别号
print("点数与标签数应一致:", labels.shape)
​

拿到逐点标签后，第 2 章的技能立刻接上：select_by_index 按类别切片点云、paint_uniform_color 按类别上色、3.1 节的离屏渲染出对比图。语义信息从"模型输出的一串数字"变成"看得见的地物分层"，这一步的成就感也是很多同学真正对点云深度学习入门的瞬间。

训练侧的入口同样是配置驱动：把模型名、数据集路径、学习率、批大小写进一份配置，一行命令启动，日志按迭代吐出 mIoU（平均交并比，分割任务的标准指标）。第一次训练建议先用小数据子集把流程跑通（确认数据加载、显存占用、日志输出都正常），再上全量——这个"小步验证"的习惯能避免在错误的配置上空烧十小时显卡。

常见疑问

问：open3d.ml 和 open3d 是两个包吗？
答：不是。pip install open3d 后 import open3d.ml 即可，子包随主包分发；但训练要另装 torch/tensorflow，版本组合按官方对齐。

问：训练自己的数据集，标注格式是什么？
答：逐点标签——每个点一个类别整数，与点坐标一一对应。把自定义数据组织成 Dataset 类（指定点与标签的读取逻辑），即可接进同一套管线。

问：没有 GPU 能玩吗？
答：推理可以（慢），训练基本不行。点云模型计算量大，CPU 训练一个 epoch 可能要一整天。建议先用预训练模型推理体验，有需求再租卡训练。

问：mIoU 多少算能用？
答：看场景。公开榜单上大场景分割的先进水平在 60–70 区间；工业场景类别少、数据规整，更低也可能够用。别迷信榜单数字，按自己任务的混淆矩阵（哪些类互相错）来调优更有方向。

再补一条训练侧的实战经验：数据增强在点云任务里比想象中重要。图像任务惯用的旋转、缩放、抖动，在点云上同样有效且更容易实现（几何变换本身就是 Open3D 的强项——随机旋转用 4×4 矩阵、随机丢点用下采样、噪声用随机抖动，几行代码就能在 Dataset 里挂上）。尤其是旋转增强：很多点云网络对朝向敏感，不加增强的模型换个方向进数据就"失明"，这是自采数据上最常见的"训练好看、上线拉胯"的元凶。用 Open3D 的几何工具在数据管道里做增强，比用深度学习框架的手写张量操作更简洁，也算把第 2 章的技能变现到了训练环节。

五、深入一层：点云网络与图像网络的本质差异

为什么点云深度学习不能直接抄图像网络？把这个差异想通，再看各种模型设计就有"原来如此"的通透感。

差异一：无固定的邻域结构。图像上卷积核扫过的是规则网格，邻居关系天然明确；点云里"邻居"要靠空间距离定义，且每个点的邻居数量、分布都不同。KPConv 的"可学习核点"、RandLA-Net 的"局部邻域编码"，本质上都是在回答"没有网格，如何定义局部感受野"。

差异二：排列不变性。同一片点云打乱点的顺序，语义不该变，但朴素的全连接网络对顺序敏感。模型要么在结构上保证对称（最大池化对顺序不敏感），要么在聚合时把邻域当集合处理。这是点云网络的"及格线"设计。

差异三：密度不均。近处密、远处稀是采集物理规律。对密度的鲁棒性决定了模型在真实传感器数据上的表现，公开数据集上刷榜的模型，换到你的自采数据上可能判若两人——差异往往就出在密度分布上。

理解这三条差异的实用回报：评估模型时知道该问什么问题。拿到一个新模型，问它的感受野怎么定义（差异一）、对顺序是否不变（差异二）、对降采样是否鲁棒（差异三），三个答案基本能预判它在你数据上的表现，比只看论文指标实在得多。

分割任务的评价指标速览

主指标看 mIoU 而不是 OA，是分割任务的行规：地面点占七成时，全猜地面就有 70% 的 OA，但一无所获。mIoU 惩罚这种"欺负大类"的策略。调优时盯每类 IoU 的短板，把混淆最严重的一对类别找出来（比如"植被"与"地面"），针对性地补标注或加特征，比整体重训高效得多。

一节小结

• 定位：点云深度学习的胶水层，统一数据集接口、模型库与训练管线，底层复用 PyTorch/TensorFlow。
• 三件套：datasets 统一格式入口、models 收录主流分割网络、pipelines 配置驱动训练推理。
• 模型取舍：RandLA-Net 轻快大场景、KPConv 精度上限高、SPVCNN 均衡，工程起手选中庸。
• Tensor 零拷贝：DLPack 让点云在 Open3D 与 PyTorch 间免拷贝往返，几何预处理与深度训练无缝分工。
• 切块推理：大场景按空间切块加重叠缝接，体素/八叉树当切刀。
• 先规则后模型：RANSAC 与 DBSCAN 能解决的别上深度学习，标注成本是隐性大头。

算法与工具都齐了，下一节把它们拼进真实行业——五个案例看同一套积木的不同搭法。