1.4 核心概念：运算 (Operation)

1.4 核心概念：运算 (Operation)

1. TensorFlow 基础：运算 (Operation)

在 TensorFlow 中，运算 (Operation，简称 Op) 是构建计算图的基本单元。它代表了对张量 (Tensor) 进行的某种操作，例如加法、乘法、矩阵运算、激活函数等等。理解 Operation 是掌握 TensorFlow 的关键。

1.1 Operation 的定义

Operation 本身并不执行计算，它只是计算图中的一个节点，描述了要执行的计算类型和输入/输出关系。当 TensorFlow 会话 (Session) 运行时，才会真正执行这些 Operation。

1.2 Operation 的关键属性

• 类型 (Type)：定义了 Operation 执行的计算类型，例如 "Add" (加法), "MatMul" (矩阵乘法), "Relu" (ReLU 激活函数) 等。

• 输入 (Inputs)：Operation 接受的张量列表。这些张量是 Operation 的操作数。

• 输出 (Outputs)：Operation 产生的张量列表。这些张量是 Operation 的结果。

• 属性 (Attributes)：Operation 的配置参数，用于控制 Operation 的行为。例如，MatMul Operation 的 transpose_a 和 transpose_b 属性指定是否转置输入矩阵。

• 名称 (Name)：Operation 在计算图中的唯一标识符，方便在代码中引用。

1.3 Operation 的创建

TensorFlow 提供了大量的内置 Operation，可以通过 TensorFlow 的 API 直接创建。例如：

import tensorflow as tf
# 创建常量张量
a = tf.constant(2.0, name="a")
b = tf.constant(3.0, name="b")
# 创建加法 Operation
add_op = tf.add(a, b, name="add")
# 创建乘法 Operation
mul_op = tf.multiply(a, b, name="multiply")
# 创建占位符张量
x = tf.compat.v1.placeholder(tf.float32, name="x")
y = tf.compat.v1.placeholder(tf.float32, name="y")
# 创建矩阵乘法 Operation
matmul_op = tf.matmul([[x]], [[y]], name="matmul")
print(add_op)
print(mul_op)
print(matmul_op)
​

输出：

Tensor("add:0", shape=(), dtype=float32)
Tensor("multiply:0", shape=(), dtype=float32)
Tensor("matmul:0", shape=(1, 1), dtype=float32)
​

上述代码创建了常量张量 a 和 b，然后使用 tf.add 和 tf.multiply 函数创建了加法和乘法 Operation。此外，还创建了占位符张量 x 和 y，并使用 tf.matmul 函数创建了矩阵乘法 Operation。

1.4 Operation 的执行

Operation 本身不执行计算，需要通过 TensorFlow 会话 (Session) 来执行。会话负责将计算图中的 Operation 调度到可用的硬件设备上执行。

import tensorflow as tf
# 创建常量张量
a = tf.constant(2.0, name="a")
b = tf.constant(3.0, name="b")
# 创建加法 Operation
add_op = tf.add(a, b, name="add")
# 创建乘法 Operation
mul_op = tf.multiply(a, b, name="multiply")
# 创建占位符张量
x = tf.compat.v1.placeholder(tf.float32, name="x")
y = tf.compat.v1.placeholder(tf.float32, name="y")
# 创建矩阵乘法 Operation
matmul_op = tf.matmul([[x]], [[y]], name="matmul")
# 创建会话
with tf.compat.v1.Session() as sess:
    # 执行 Operation
    add_result = sess.run(add_op)
    mul_result = sess.run(mul_op)
    matmul_result = sess.run(matmul_op, feed_dict={x: 4.0, y: 5.0})
    # 打印结果
    print("a + b =", add_result)
    print("a * b =", mul_result)
    print("x * y =", matmul_result)
​

输出：

a + b = 5.0
a * b = 6.0
x * y = [[20.]]
​

上述代码创建了一个 TensorFlow 会话，然后使用 sess.run() 方法执行了加法、乘法和矩阵乘法 Operation。sess.run() 方法会根据计算图的依赖关系，自动执行 Operation 所依赖的其他 Operation，最终返回 Operation 的结果。对于占位符张量，需要使用 feed_dict 参数提供输入数据。

1.5 Operation 的类型

TensorFlow 提供了大量的内置 Operation，涵盖了各种常见的计算类型。以下是一些常用的 Operation 类型：

• 数学运算：tf.add, tf.subtract, tf.multiply, tf.divide, tf.pow, tf.exp, tf.log, tf.sin, tf.cos, tf.sqrt 等。

• 矩阵运算：tf.matmul, tf.transpose, tf.linalg.inv, tf.linalg.eig 等。

• 激活函数：tf.nn.relu, tf.nn.sigmoid, tf.nn.tanh, tf.nn.softmax 等。

• 卷积运算：tf.nn.conv2d, tf.nn.max_pool2d 等。

• 损失函数：tf.nn.softmax_cross_entropy_with_logits, tf.losses.mean_squared_error 等。

• 优化器：tf.compat.v1.train.GradientDescentOptimizer, tf.compat.v1.train.AdamOptimizer 等。

1.6 自定义 Operation

除了使用 TensorFlow 提供的内置 Operation，还可以自定义 Operation。自定义 Operation 通常使用 C++ 编写，并使用 TensorFlow 的 API 将其注册到 TensorFlow 运行时。自定义 Operation 可以用于实现 TensorFlow 无法直接支持的计算类型，或者为了提高性能而对某些计算进行优化。

1.7 计算图可视化

TensorFlow 提供了 TensorBoard 工具，可以用于可视化计算图。计算图可视化可以帮助我们理解计算图的结构，调试 TensorFlow 代码，以及优化计算图的性能。

以下是一个使用 TensorBoard 可视化计算图的例子：

import tensorflow as tf
# 创建常量张量
a = tf.constant(2.0, name="a")
b = tf.constant(3.0, name="b")
# 创建加法 Operation
add_op = tf.add(a, b, name="add")
# 创建乘法 Operation
mul_op = tf.multiply(a, b, name="multiply")
# 创建占位符张量
x = tf.compat.v1.placeholder(tf.float32, name="x")
y = tf.compat.v1.placeholder(tf.float32, name="y")
# 创建矩阵乘法 Operation
matmul_op = tf.matmul([[x]], [[y]], name="matmul")
# 创建会话
with tf.compat.v1.Session() as sess:
    # 创建 SummaryWriter
    writer = tf.compat.v1.summary.FileWriter("logs", sess.graph)
    # 执行 Operation
    add_result = sess.run(add_op)
    mul_result = sess.run(mul_op)
    matmul_result = sess.run(matmul_op, feed_dict={x: 4.0, y: 5.0})
    # 打印结果
    print("a + b =", add_result)
    print("a * b =", mul_result)
    print("x * y =", matmul_result)
    # 关闭 SummaryWriter
    writer.close()
​

上述代码创建了一个 SummaryWriter 对象，并将计算图写入到 "logs" 目录下。然后，可以使用 TensorBoard 查看计算图：

tensorboard --logdir logs
​

在 TensorBoard 中，可以看到计算图的结构，包括 Operation 的类型、输入、输出和属性。

1.8 计算图示例 (Mermaid Graph)

以下是一个简单的计算图示例，使用 Mermaid 语法表示：

这个图表示了两个常量 a 和 b 相加，以及两个占位符 x 和 y 进行矩阵乘法。

1.9 总结

Operation 是 TensorFlow 中构建计算图的基本单元，它代表了对张量进行的一种计算。理解 Operation 的类型、输入、输出和属性，以及如何创建和执行 Operation，是掌握 TensorFlow 的关键。通过 TensorBoard 可以可视化计算图，帮助我们理解和调试 TensorFlow 代码。希望本文能够帮助你更好地理解 TensorFlow 中的 Operation 概念。