2.2 从 NumPy 数组和 Python 生成器创建数据集

2.2 从 NumPy 数组和 Python 生成器创建数据集

TensorFlow 数据集 (tf.data)：从 NumPy 数组和 Python 生成器创建数据集

tf.data API 是 TensorFlow 中用于构建高效数据管道的核心组件。它允许你轻松地从各种数据源（包括 NumPy 数组和 Python 生成器）创建数据集，并进行转换和处理，以便用于模型训练和评估。

2.2.1 从 NumPy 数组创建数据集

NumPy 数组是 Python 中用于存储数值数据的强大工具。TensorFlow 提供了 tf.data.Dataset.from_tensor_slices() 和 tf.data.Dataset.from_tensors() 方法，可以方便地从 NumPy 数组创建数据集。

2.2.1.1 tf.data.Dataset.from_tensor_slices()

from_tensor_slices() 方法将 NumPy 数组的每个切片（沿着第一个维度）转换为数据集的一个元素。这对于处理具有多个样本的数据集非常有用。

import tensorflow as tf
import numpy as np
# 创建 NumPy 数组
data = np.array([[1, 2], [3, 4], [5, 6]])
# 从 NumPy 数组创建数据集
dataset = tf.data.Dataset.from_tensor_slices(data)
# 迭代数据集并打印元素
for element in dataset:
  print(element.numpy())
​

输出：

[1 2]
[3 4]
[5 6]
​

代码详解：

1. 导入必要的库： 导入 tensorflow 和 numpy 库。

2. 创建 NumPy 数组： 创建一个 NumPy 数组 data，其中包含 3 个样本，每个样本有 2 个特征。

3. 创建数据集： 使用 tf.data.Dataset.from_tensor_slices(data) 从 NumPy 数组创建数据集。from_tensor_slices() 方法将 data 数组的每个切片（即每一行）转换为数据集的一个元素。

4. 迭代数据集： 使用 for 循环迭代数据集，并使用 element.numpy() 将每个元素转换为 NumPy 数组并打印。

Mermaid 图表：

2.2.1.2 tf.data.Dataset.from_tensors()

from_tensors() 方法将整个 NumPy 数组作为一个数据集元素。这对于处理只有一个样本的数据集非常有用。

import tensorflow as tf
import numpy as np
# 创建 NumPy 数组
data = np.array([[1, 2], [3, 4], [5, 6]])
# 从 NumPy 数组创建数据集
dataset = tf.data.Dataset.from_tensors(data)
# 迭代数据集并打印元素
for element in dataset:
  print(element.numpy())
​

输出：

[[1 2]
 [3 4]
 [5 6]]
​

代码详解：

1. 导入必要的库： 导入 tensorflow 和 numpy 库。

2. 创建 NumPy 数组： 创建一个 NumPy 数组 data。

3. 创建数据集： 使用 tf.data.Dataset.from_tensors(data) 从 NumPy 数组创建数据集。from_tensors() 方法将整个 data 数组作为一个数据集元素。

4. 迭代数据集： 使用 for 循环迭代数据集，并使用 element.numpy() 将元素转换为 NumPy 数组并打印。

Mermaid 图表：

2.2.1.3 同时使用多个 NumPy 数组

可以同时使用多个 NumPy 数组来创建数据集，例如，一个数组用于特征，另一个数组用于标签。

import tensorflow as tf
import numpy as np
# 创建 NumPy 数组
features = np.array([[1, 2], [3, 4], [5, 6]])
labels = np.array([0, 1, 0])
# 从 NumPy 数组创建数据集
dataset = tf.data.Dataset.from_tensor_slices((features, labels))
# 迭代数据集并打印元素
for feature, label in dataset:
  print(f"Feature: {feature.numpy()}, Label: {label.numpy()}")
​

输出：

Feature: [1 2], Label: 0
Feature: [3 4], Label: 1
Feature: [5 6], Label: 0
​

代码详解：

1. 创建 NumPy 数组： 创建 features 和 labels 两个 NumPy 数组。

2. 创建数据集： 使用 tf.data.Dataset.from_tensor_slices((features, labels)) 从 NumPy 数组创建数据集。这里将 features 和 labels 作为元组传递给 from_tensor_slices() 方法，每个元素对应一个特征和一个标签。

3. 迭代数据集： 使用 for 循环迭代数据集，并将每个元素的特征和标签分别赋值给 feature 和 label 变量，然后打印它们。

Mermaid 图表：

2.2.2 从 Python 生成器创建数据集

Python 生成器是一种特殊的函数，可以按需生成值，而不是一次性生成所有值。这对于处理大型数据集非常有用，因为它可以节省内存。TensorFlow 提供了 tf.data.Dataset.from_generator() 方法，可以从 Python 生成器创建数据集。

import tensorflow as tf
import numpy as np
# 创建 Python 生成器
def generator():
  for i in range(5):
    yield i, i**2
# 从 Python 生成器创建数据集
dataset = tf.data.Dataset.from_generator(
    generator,
    output_signature=(
        tf.TensorSpec(shape=(), dtype=tf.int32),
        tf.TensorSpec(shape=(), dtype=tf.int32)
    )
)
# 迭代数据集并打印元素
for element in dataset:
  print(element)
​

输出：

(<tf.Tensor: shape=(), dtype=int32, numpy=0>, <tf.Tensor: shape=(), dtype=int32, numpy=0>)
(<tf.Tensor: shape=(), dtype=int32, numpy=1>, <tf.Tensor: shape=(), dtype=int32, numpy=1>)
(<tf.Tensor: shape=(), dtype=int32, numpy=2>, <tf.Tensor: shape=(), dtype=int32, numpy=4>)
(<tf.Tensor: shape=(), dtype=int32, numpy=3>, <tf.Tensor: shape=(), dtype=int32, numpy=9>)
(<tf.Tensor: shape=(), dtype=int32, numpy=4>, <tf.Tensor: shape=(), dtype=int32, numpy=16>)
​

代码详解：

1. 创建 Python 生成器： 创建一个名为 generator 的 Python 生成器函数。该函数使用 yield 关键字按需生成值。在这个例子中，生成器生成一个包含两个元素的元组，第一个元素是 i，第二个元素是 i 的平方。

2. 创建数据集： 使用 tf.data.Dataset.from_generator() 从 Python 生成器创建数据集。

   • 第一个参数是生成器函数 generator。

   • output_signature 参数指定生成器输出的每个元素的形状和数据类型。tf.TensorSpec 用于定义张量的规格。这里，我们指定生成器输出的每个元素都是一个标量整数。 output_types参数在tf2.x版本已经弃用，推荐使用output_signature

3. 迭代数据集： 使用 for 循环迭代数据集，并打印每个元素。

Mermaid 图表：

2.2.2.1 使用生成器读取文件

生成器可以用于从文件中读取数据，并将其转换为数据集。这对于处理大型文本文件非常有用。

import tensorflow as tf
# 创建 Python 生成器
def file_generator(filename):
  with open(filename, 'r') as f:
    for line in f:
      yield line.strip()
# 从 Python 生成器创建数据集
dataset = tf.data.Dataset.from_generator(
    lambda: file_generator('my_file.txt'),  # 使用 lambda 包装生成器
    output_signature=tf.TensorSpec(shape=(), dtype=tf.string)
)
# 迭代数据集并打印元素
for element in dataset:
  print(element.numpy())
​

代码详解：

1. 创建 Python 生成器： 创建一个名为 file_generator 的 Python 生成器函数。该函数打开指定的文件，并逐行读取文件内容，然后使用 yield 关键字生成每一行（去除首尾空格）。

2. 创建数据集： 使用 tf.data.Dataset.from_generator() 从 Python 生成器创建数据集。

   • 需要使用 lambda 表达式将生成器函数包装起来，以确保在创建数据集时不会立即执行生成器。

   • output_signature 参数指定生成器输出的每个元素的形状和数据类型。这里，我们指定生成器输出的每个元素都是一个字符串。

3. 迭代数据集： 使用 for 循环迭代数据集，并打印每个元素。

注意: 确保 my_file.txt 文件存在，并且包含一些文本数据。

2.2.3 总结

tf.data API 提供了灵活且高效的方法，可以从 NumPy 数组和 Python 生成器创建数据集。from_tensor_slices() 和 from_tensors() 方法适用于从 NumPy 数组创建数据集，而 from_generator() 方法适用于从 Python 生成器创建数据集。通过合理使用这些方法，可以轻松地构建高效的数据管道，用于模型训练和评估。 使用生成器时，务必小心处理异常，并确保生成器能够正确地生成数据。 同时，需要正确指定 output_signature，以便 TensorFlow 能够正确地处理数据集。