3.1 高级可视化与渲染

3.1 高级可视化与渲染

第三章：Open3D 高级主题与应用领域 - 3.1 高级可视化与渲染

3.1 高级可视化与渲染

高级可视化与渲染在 3D 数据处理流程中扮演着至关重要的角色。它不仅能帮助我们更清晰地观察和分析数据，还能为科学研究、工程设计、艺术创作等领域提供强有力的视觉表达手段。Open3D 提供的各种高级功能，旨在提升用户在可视化方面的控制力、灵活性和效率。

本节将重点介绍以下几个方面的高级可视化与渲染技术：

• 自定义渲染选项 (Render Options)： 深入探索 RenderOptions 类，学习如何精细调整渲染参数，例如背景颜色、点云大小、线宽、光照模型、材质属性等，从而优化视觉效果，突出数据特征。

• 材质与着色器 (Materials and Shaders)： 介绍 Open3D 中材质的概念以及如何使用预定义的材质，并深入探讨自定义着色器的应用。我们将学习如何编写简单的 GLSL 着色器代码，实现更高级的光照、纹理效果，甚至自定义视觉风格。

• 场景动画与更新 (Scene Animation and Updates)： 讲解如何在 Open3D 中创建动态场景，实现动画效果。我们将学习如何通过程序控制场景中几何体的变换，以及如何利用回调函数和定时器来实现流畅的动画。

• 离屏渲染 (Off-screen Rendering)： 介绍离屏渲染的概念和应用场景，学习如何在没有图形用户界面的情况下渲染场景，并将渲染结果保存为图像或视频文件，这对于批量处理、自动化报告生成等任务至关重要。

• 高级几何体表示与渲染技巧 (Advanced Geometry Representation and Rendering Techniques)： 探讨一些更高级的几何体表示方法，例如体素网格、隐式曲面等，以及如何利用 Open3D 的功能进行渲染和可视化。

通过本节的学习，你将能够：

• 掌握 Open3D 高级可视化与渲染的核心概念和技术。

• 熟练使用 RenderOptions 类定制渲染效果。

• 理解材质和着色器的作用，并能编写简单的自定义着色器。

• 创建动态 3D 场景，实现动画效果。

• 进行离屏渲染，生成高质量的静态图像和动画视频。

• 了解高级几何体表示方法在可视化中的应用。

接下来，我们将逐一深入探讨这些主题，并通过代码示例进行实践。

3.1.1 自定义渲染选项 (Render Options)

Open3D 的 Visualizer 类提供了强大的可视化功能，而 RenderOptions 类则允许用户精细控制渲染过程的各个方面。通过调整 RenderOptions 的属性，我们可以改变场景的外观，使其更符合我们的需求，并更好地突出数据的关键特征。

RenderOptions 类包含众多属性，以下是一些常用的属性及其说明：

• background_color: 设置背景颜色，类型为 numpy.ndarray (RGB 或 RGBA)。

• point_size: 设置点云中点的大小，类型为 float。

• line_width: 设置线框或线段的宽度，类型为 float。

• mesh_color_option: 控制网格颜色选项，例如使用顶点颜色、统一颜色或材质颜色。

• light_ambient, light_diffuse, light_specular: 控制环境光、漫反射光和镜面反射光的强度，类型为 float (0.0 - 1.0)。

• light_roughness: 控制材质的粗糙度，影响镜面反射的范围，类型为 float (0.0 - 1.0)。

• show_coordinate_frame: 控制是否显示坐标轴，类型为 bool。

• shadows: 控制是否启用阴影效果，类型为 bool。

• antialiasing: 控制是否启用抗锯齿，类型为 bool。

代码实践 3.1.1：自定义渲染选项

import open3d as o3d
import numpy as np
# 创建一个简单的点云
points = np.random.rand(1000, 3)
point_cloud = o3d.geometry.PointCloud()
point_cloud.points = o3d.utility.Vector3dVector(points)
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window()
vis.add_geometry(point_cloud)
# 获取 RenderOptions 对象
opt = vis.get_render_option()
# 修改渲染选项
opt.background_color = np.asarray([0.1, 0.1, 0.1])  # 深灰色背景
opt.point_size = 3.0  # 增大点的大小
opt.line_width = 2.0  # 增大线宽 (如果可视化线框)
opt.light_ambient = 0.5  # 调整环境光强度
opt.light_diffuse = 0.8  # 调整漫反射光强度
opt.light_specular = 0.2 # 调整镜面反射光强度
opt.light_roughness = 0.8 # 调整材质粗糙度
opt.show_coordinate_frame = True # 显示坐标轴
opt.shadows = True # 启用阴影效果 (如果场景中有光源和几何体支持阴影)
opt.antialiasing = True # 启用抗锯齿
# 运行 Visualizer
vis.run()
vis.destroy_window()
​

代码详解 3.1.1：

1. 创建点云: 首先，我们创建了一个随机点云作为示例数据。

2. 创建 Visualizer: 创建一个 Visualizer 对象，并创建可视化窗口。

3. 获取 RenderOptions: 通过 vis.get_render_option() 获取当前的 RenderOptions 对象。

4. 修改渲染选项: 我们修改了 opt 对象的多个属性，例如背景颜色、点大小、线宽、光照参数、是否显示坐标轴、是否启用阴影和抗锯齿。

5. 运行 Visualizer: 调用 vis.run() 启动可视化窗口，应用修改后的渲染选项。

通过调整 RenderOptions 中的不同属性，你可以根据数据的特性和可视化目标，定制出最佳的渲染效果。例如，在可视化稀疏点云时，增大 point_size 可以使其更清晰可见；在分析网格模型的表面细节时，调整光照参数和材质属性可以突出表面的纹理和几何特征。

3.1.2 材质与着色器 (Materials and Shaders)

材质和着色器是控制物体表面外观的关键要素。在 Open3D 中，我们可以使用预定义的材质，也可以编写自定义的着色器来实现更高级的渲染效果。

材质 (Materials)

Open3D 提供了一些预定义的材质，可以通过 MaterialRecord 类进行设置。材质主要控制物体的颜色、反射率、粗糙度等属性。常用的材质属性包括：

• base_color: 基础颜色，类型为 numpy.ndarray (RGBA)。

• color: 颜色，通常与 base_color 相同，但某些情况下可能用于特殊效果。

• metallic: 金属度，范围 0.0 (非金属) 到 1.0 (金属)。

• roughness: 粗糙度，范围 0.0 (光滑) 到 1.0 (粗糙)。

• reflectance: 反射率，控制表面反射光的强度。

代码实践 3.1.2：使用预定义材质

import open3d as o3d
import numpy as np
# 读取一个网格模型
mesh = o3d.io.read_triangle_mesh(o3d.data.BunnyMesh())
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window()
vis.add_geometry(mesh)
# 获取 RenderOptions
opt = vis.get_render_option()
opt.mesh_shade_option = o3d.visualization.MeshShadeOption.Phong # 设置Phong着色
# 创建 MaterialRecord 并设置材质属性
material = o3d.visualization.MaterialRecord()
material.base_color = np.asarray([1.0, 0.0, 0.0, 1.0])  # 红色
material.metallic = 0.0  # 非金属
material.roughness = 0.5 # 中等粗糙度
# 应用材质到网格模型 (需要通过控制来应用，Open3D 默认材质应用方式不同)
# 在 Open3D 中，材质的直接应用不如其他引擎直接，通常通过自定义着色器更灵活
# 这里为了演示材质属性，可以通过修改顶点颜色来模拟材质效果 (简化的模拟)
vertex_colors = np.asarray(mesh.vertices)
vertex_colors = vertex_colors - vertex_colors.min(axis=0)
vertex_colors = vertex_colors / vertex_colors.max(axis=0)
mesh.vertex_colors = o3d.utility.Vector3dVector(vertex_colors * material.base_color[:3]) # 简化的顶点颜色模拟材质颜色
# 运行 Visualizer
vis.run()
vis.destroy_window()
​

代码详解 3.1.2：

1. 读取网格模型: 读取一个兔子网格模型作为示例。

2. 创建 Visualizer 和 RenderOptions: 创建 Visualizer 和获取 RenderOptions，并设置 mesh_shade_option 为 Phong 着色，以更好地展示材质效果。

3. 创建 MaterialRecord: 创建一个 MaterialRecord 对象，并设置 base_color、metallic 和 roughness 属性。

4. 应用材质 (简化模拟): Open3D 中材质的应用相对复杂，这里为了演示材质属性，我们通过修改顶点颜色来 简化模拟 材质的颜色效果。这并非真正的材质应用，但可以直观展示 base_color 的作用。 更专业的材质和光照控制需要使用自定义着色器。

着色器 (Shaders)

着色器是运行在 GPU 上的小程序，负责计算每个像素的最终颜色。它们是现代图形渲染管线的核心组成部分。着色器主要分为两种类型：

• 顶点着色器 (Vertex Shader): 处理每个顶点的数据，例如顶点位置、法线、颜色等。顶点着色器的主要任务是进行顶点变换（模型视图投影变换），并将顶点数据传递给片元着色器。

• 片元着色器 (Fragment Shader): 处理每个片元（可以理解为像素），根据顶点着色器传递的数据以及材质、光照等信息，计算出每个片元的最终颜色。

Open3D 允许用户自定义着色器，从而实现更高级、更灵活的渲染效果。自定义着色器通常使用 GLSL (OpenGL Shading Language) 编写。

代码实践 3.1.2：自定义着色器 (顶点着色器修改颜色)

import open3d as o3d
import numpy as np
# 读取一个网格模型
mesh = o3d.io.read_triangle_mesh(o3d.data.BunnyMesh())
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window()
vis.add_geometry(mesh)
# 获取 RenderOptions
opt = vis.get_render_option()
opt.mesh_shade_option = o3d.visualization.MeshShadeOption.Default # 使用默认着色，方便自定义shader控制
# 自定义顶点着色器代码 (GLSL)
vertex_shader = """
#version 330 core
in vec3 position;
in vec3 normal;
out vec3 color_output;
uniform mat4 modelViewProjectionMatrix;
uniform mat4 modelMatrix;
uniform mat3 normalMatrix;
void main() {
    gl_Position = modelViewProjectionMatrix * vec4(position, 1.0);
    // 根据法线方向设置颜色 (简单示例)
    vec3 normal_world = normalize(normalMatrix * normal);
    float diffuse_intensity = max(0.0, dot(normal_world, vec3(0.0, 0.0, 1.0))); // 假设光源方向为Z轴正方向
    color_output = vec3(diffuse_intensity, 0.0, 1.0 - diffuse_intensity); // 根据光照强度设置颜色
}
"""
# 设置自定义顶点着色器
vis.get_render_option().vertex_shader = vertex_shader
# 运行 Visualizer
vis.run()
vis.destroy_window()
​

代码详解 3.1.2：

1. 读取网格模型、创建 Visualizer 和 RenderOptions: 与之前示例相同。

2. 自定义顶点着色器代码 (GLSL): 我们定义了一个 GLSL 顶点着色器代码字符串 vertex_shader。

   • #version 330 core: 指定 GLSL 版本。

   • in vec3 position; in vec3 normal;: 声明输入属性，接收顶点位置和法线。

   • out vec3 color_output;: 声明输出属性，将颜色传递给片元着色器 (或直接用于颜色)。

   • uniform mat4 modelViewProjectionMatrix; uniform mat4 modelMatrix; uniform mat3 normalMatrix;: 声明 Uniform 变量，接收模型视图投影矩阵、模型矩阵和法线矩阵 (由 Open3D 自动传入)。

   • gl_Position = modelViewProjectionMatrix * vec4(position, 1.0);: 进行顶点变换，计算裁剪空间坐标。

   • 颜色计算: 根据法线方向和假设的光源方向 (Z轴正方向) 计算漫反射强度，并根据强度设置颜色 (红色到蓝色渐变)。

3. 设置自定义顶点着色器: 通过 vis.get_render_option().vertex_shader = vertex_shader 将自定义着色器代码设置到 RenderOptions 中。

4. 运行 Visualizer: 启动可视化窗口，应用自定义着色器。

这个示例展示了如何使用自定义顶点着色器来修改网格模型的颜色。通过更复杂的着色器代码，你可以实现各种高级渲染效果，例如纹理映射、光照模型、阴影、卡通渲染等。 编写片元着色器可以实现更精细的像素级别控制，例如实现 Phong 光照模型、纹理采样、后处理效果等。 Open3D 的着色器功能为高级可视化提供了强大的工具。

3.1.3 场景动画与更新 (Scene Animation and Updates)

Open3D 不仅可以可视化静态场景，还可以创建动态场景，实现动画效果。动画可以通过不断更新场景中的几何体属性 (例如位置、姿态、颜色等) 来实现。

动画实现方式：

• 循环更新 (Loop-based Update): 在可视化循环中，每一帧都更新几何体的属性，然后重新渲染场景。

• 回调函数 (Callback Function): 使用 Visualizer 的 register_animation_callback 函数注册一个回调函数，该函数会在每一帧渲染之前被调用，在回调函数中更新场景。

• 定时器 (Timer-based Update): 使用定时器 (例如 Python 的 time.sleep 或 threading.Timer) 定期更新场景，并触发 Visualizer 的更新。

代码实践 3.1.3：循环更新动画 (旋转点云)

import open3d as o3d
import numpy as np
import time
# 创建一个简单的点云
points = np.random.rand(1000, 3)
point_cloud = o3d.geometry.PointCloud()
point_cloud.points = o3d.utility.Vector3dVector(points)
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window()
vis.add_geometry(point_cloud)
# 动画循环
rotation_angle = 0.0
while True:
    rotation_angle += 0.01  # 每次旋转角度
    rotation_matrix = point_cloud.get_rotation_matrix_from_xyz((0, rotation_angle, 0)) # 绕Y轴旋转
    point_cloud.rotate(rotation_matrix, center=(0, 0, 0)) # 绕原点旋转
    vis.update_geometry(point_cloud) # 更新几何体
    vis.poll_events() # 处理事件
    vis.update_renderer() # 更新渲染器
    time.sleep(0.01) # 控制帧率 (可选)
vis.destroy_window()
​

代码详解 3.1.3：

1. 创建点云和 Visualizer: 与之前示例相同。

2. 动画循环: 使用 while True 创建一个无限循环。

3. 计算旋转矩阵: point_cloud.get_rotation_matrix_from_xyz 函数根据 XYZ 轴旋转角度生成旋转矩阵。

4. 旋转点云: point_cloud.rotate 函数将点云绕指定中心 (原点) 旋转指定的旋转矩阵。

5. 更新几何体: vis.update_geometry(point_cloud) 函数通知 Visualizer 几何体数据已更新，需要重新渲染。

6. 处理事件和更新渲染器: vis.poll_events() 处理用户交互事件，vis.update_renderer() 触发渲染更新。

7. 控制帧率 (可选): time.sleep(0.01) 暂停 0.01 秒，控制动画帧率，避免 CPU 过度占用。

这个示例展示了如何通过循环更新几何体的旋转属性来实现点云的旋转动画。你可以根据需要更新几何体的其他属性，例如位置、缩放、颜色、顶点数据等，来创建各种动态效果。

代码实践 3.1.3：回调函数动画 (颜色周期变化)

import open3d as o3d
import numpy as np
import time
# 创建一个简单的网格模型 (立方体)
mesh = o3d.geometry.TriangleMesh.create_box()
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window()
vis.add_geometry(mesh)
# 颜色周期变化回调函数
phase = 0.0
def update_color(vis):
    global phase
    phase += 0.02
    color = 0.5 + 0.5 * np.sin(phase) # 颜色在 0 到 1 之间周期变化
    mesh.paint_uniform_color([color, 1.0 - color, 0.5]) # 颜色设置为 RGB 颜色
    vis.update_geometry(mesh)
    return True # 返回 True 表示继续回调
# 注册动画回调函数
vis.register_animation_callback(update_color)
# 运行 Visualizer
vis.run()
vis.destroy_window()
​

代码详解 3.1.3：

1. 创建网格模型和 Visualizer: 与之前示例类似，这次创建了一个立方体网格模型。

2. 定义回调函数 update_color:

   • 使用 global phase 声明全局变量 phase，用于控制颜色变化周期。

   • phase += 0.02 每次回调增加 phase 值。

   • color = 0.5 + 0.5 * np.sin(phase) 使用正弦函数计算颜色值，使其在 0 到 1 之间周期变化。

   • mesh.paint_uniform_color([color, 1.0 - color, 0.5]) 将网格模型的所有顶点颜色设置为统一的 RGB 颜色，其中红色和蓝色分量根据 color 值周期变化，绿色分量固定为 0.5。

   • vis.update_geometry(mesh) 更新几何体。

   • return True 返回 True 表示继续执行回调函数，实现持续动画。

3. 注册动画回调函数: vis.register_animation_callback(update_color) 将 update_color 函数注册为动画回调函数。

4. 运行 Visualizer: 启动可视化窗口，动画开始。

这个示例展示了如何使用回调函数来实现网格模型颜色的周期性变化动画。回调函数的方式更加灵活，可以实现更复杂的动画逻辑和场景更新。

3.1.4 离屏渲染 (Off-screen Rendering)

离屏渲染是指在没有图形用户界面的情况下进行渲染，并将渲染结果保存到内存中，例如保存为图像或视频文件。离屏渲染在以下场景中非常有用：

• 批量渲染: 需要批量生成大量渲染图像或视频，例如用于数据集生成、参数扫描、自动化报告等。

• 服务器端渲染: 在服务器端进行渲染，例如用于 Web 应用、远程可视化服务等，服务器通常没有图形显示设备。

• headless 环境: 在没有图形界面的环境中运行程序，例如在云服务器、集群等环境中进行渲染。

Open3D 提供了离屏渲染的功能，可以通过 Visualizer 的 capture_screen_float_buffer 和 capture_screen_image 函数来实现。

代码实践 3.1.4：离屏渲染并保存为图像

import open3d as o3d
import numpy as np
# 创建一个简单的球体网格模型
mesh = o3d.geometry.TriangleMesh.create_sphere()
# 创建 Visualizer
vis = o3d.visualization.Visualizer()
vis.create_window(visible=False) # 设置窗口不可见，实现离屏渲染
vis.add_geometry(mesh)
# 设置渲染选项 (可选，例如调整背景颜色)
opt = vis.get_render_option()
opt.background_color = np.asarray([0.8, 0.8, 0.8]) # 浅灰色背景
# 渲染场景并获取图像数据
image = vis.capture_screen_image() # 获取 PIL Image 对象
# 保存图像到文件
o3d.io.write_image("offscreen_render.png", image)
# 或者获取浮点数缓冲区 (NumPy 数组)
float_buffer = vis.capture_screen_float_buffer() # 获取 NumPy float32 数组 (RGBA)
float_buffer_np = np.asarray(float_buffer)
# 将浮点数缓冲区转换为图像并保存 (可选)
image_from_buffer = o3d.geometry.Image(float_buffer_np)
o3d.io.write_image("offscreen_render_buffer.png", image_from_buffer)
vis.destroy_window()
​

代码详解 3.1.4：

1. 创建网格模型和 Visualizer: 与之前示例类似，创建球体网格模型。

2. 创建不可见的 Visualizer 窗口: vis.create_window(visible=False) 设置 visible=False 创建一个不可见的窗口，实现离屏渲染。

3. 设置渲染选项 (可选): 可以像之前一样设置 RenderOptions 来调整渲染效果。

4. 渲染场景并获取图像数据:

   • image = vis.capture_screen_image() 函数渲染当前场景，并返回一个 PIL Image 对象。

   • float_buffer = vis.capture_screen_float_buffer() 函数渲染当前场景，并返回一个 NumPy float32 数组，表示 RGBA 图像数据，每个像素的颜色分量值在 0.0 到 1.0 之间。

5. 保存图像到文件:

   • o3d.io.write_image("offscreen_render.png", image) 将 PIL Image 对象保存为 PNG 图像文件。

   • o3d.io.write_image("offscreen_render_buffer.png", image_from_buffer) 将从浮点数缓冲区创建的 Image 对象保存为 PNG 图像文件。

这个示例展示了如何使用 capture_screen_image 和 capture_screen_float_buffer 函数进行离屏渲染，并将渲染结果保存为图像文件。你可以将离屏渲染与其他功能 (例如动画循环) 结合使用，生成动画视频。

3.1.5 高级几何体表示与渲染技巧

除了点云和网格模型，Open3D 还支持其他高级几何体表示方法，例如：

• 体素网格 (Voxel Grid): 将 3D 空间划分为规则的体素单元，每个体素存储该单元内的信息 (例如密度、颜色等)。体素网格常用于表示体积数据、三维 occupancy grid 等。

• 隐式曲面 (Implicit Surface): 通过隐式函数 (例如符号距离函数 SDF) 来定义曲面。隐式曲面可以表示复杂的拓扑结构，并且方便进行曲面重建、形状变形等操作。

Open3D 提供了 VoxelGrid 和 Surface3D 类来表示体素网格和隐式曲面，并支持对其进行可视化和渲染。

Graph TD 图：Open3D 高级可视化与渲染流程

Graph TD 图解释：

该图描述了 Open3D 高级可视化与渲染的流程。

• A [3D 数据]： 输入各种类型的 3D 数据，例如点云、网格模型、体素网格等。

• B (Visualizer)： Open3D 的 Visualizer 类是可视化的核心组件。

• C {RenderOptions}： RenderOptions 类允许用户自定义渲染设置，包括背景颜色、点大小、光照参数等。

• D [自定义渲染设置]： 用户通过修改 RenderOptions 属性来定制渲染效果。