TensorFlow

本文集文档发布于灏天文库

6.3 TensorFlow Datasets 数据集仓库

文档摘要

6.3 TensorFlow Datasets 数据集仓库 6.3 TensorFlow Datasets 数据集仓库：代码实践与详解 TensorFlow Datasets (TFDS) 是一个包含预定义数据集的集合，旨在简化机器学习模型的实验和评估过程。它提供了一个标准化的方式来访问各种数据集，包括图像、文本、音频和视频等，并允许用户轻松地加载、预处理和使用这些数据。TFDS 极大地简化了数据准备流程，使开发者能够专注于模型构建和训练。 6.3.1 TFDS 的优势 易于使用： TFDS 提供了一个简单的 API，用于下载、加载和准备数据集。 标准化： TFDS 统一了不同数据集的格式，使得在不同数据集上进行实验变得更加容易。

6.3 TensorFlow Datasets 数据集仓库

6.3 TensorFlow Datasets 数据集仓库：代码实践与详解

TensorFlow Datasets (TFDS) 是一个包含预定义数据集的集合，旨在简化机器学习模型的实验和评估过程。它提供了一个标准化的方式来访问各种数据集，包括图像、文本、音频和视频等，并允许用户轻松地加载、预处理和使用这些数据。TFDS 极大地简化了数据准备流程，使开发者能够专注于模型构建和训练。

6.3.1 TFDS 的优势

  • 易于使用： TFDS 提供了一个简单的 API，用于下载、加载和准备数据集。

  • 标准化： TFDS 统一了不同数据集的格式，使得在不同数据集上进行实验变得更加容易。

  • 性能优化： TFDS 使用 TensorFlow 的 tf.data API，可以高效地处理大型数据集。

  • 可扩展性： TFDS 允许用户创建和共享自己的数据集。

  • 版本控制： TFDS 维护数据集的版本，确保实验的可重复性。

  • 预处理功能： TFDS 提供了常见的数据预处理操作，如图像大小调整、数据增强等。

6.3.2 安装 TensorFlow Datasets

首先，需要安装 tensorflow-datasets 包。可以使用 pip 进行安装：

pip install tensorflow-datasets
​

6.3.3 使用 TFDS 加载数据集

以下是一个使用 TFDS 加载 MNIST 数据集的简单示例：

import tensorflow_datasets as tfds
import tensorflow as tf
# 加载 MNIST 数据集
(ds_train, ds_test), ds_info = tfds.load(
    'mnist',
    split=['train', 'test'],
    shuffle_files=True,
    as_supervised=True,  # 返回 (图像, 标签) 元组
    with_info=True,  # 返回数据集的信息
)
# 打印数据集信息
print(ds_info)
# 数据预处理函数
def preprocess(image, label):
  image = tf.image.convert_image_dtype(image, tf.float32)  # 转换为 float32
  image = tf.reshape(image, [-1]) # 将图像展平
  return image, label
# 应用数据预处理
ds_train = ds_train.map(preprocess).batch(32).prefetch(tf.data.AUTOTUNE)
ds_test = ds_test.map(preprocess).batch(32).prefetch(tf.data.AUTOTUNE)
# 迭代训练数据集
for image, label in ds_train.take(1):
  print("Image shape:", image.shape)
  print("Label:", label.numpy())
​

代码详解：

  1. tfds.load('mnist', ...): 这是加载数据集的核心函数。

    • 'mnist'：指定要加载的数据集名称。TFDS 仓库包含大量数据集，可以查阅官方文档获取完整列表。

    • split=['train', 'test']：指定要加载的数据集划分。常见的划分包括 'train'（训练集）、'test'（测试集）和 'validation'（验证集）。

    • shuffle_files=True：在读取数据时，对文件进行随机打乱，有助于训练模型的泛化能力。

    • as_supervised=True：指定数据集以监督学习的方式返回数据，即返回 (特征, 标签) 元组。

    • with_info=True：返回包含数据集信息的 tfds.core.DatasetInfo 对象，其中包含数据集的描述、特征、大小等信息。

  2. ds_info: tfds.core.DatasetInfo 对象包含了数据集的元数据，可以通过它了解数据集的详细信息，例如数据集的特征、大小、版本等。

  3. preprocess(image, label): 这是一个自定义的数据预处理函数，用于对图像进行归一化和展平。

    • tf.image.convert_image_dtype(image, tf.float32)：将图像数据转换为 tf.float32 类型，并将像素值缩放到 [0, 1] 范围内。

    • tf.reshape(image, [-1]): 将图像展平为一维向量。

  4. ds_train.map(preprocess) 和 ds_test.map(preprocess): 使用 tf.data.Dataset.map 方法将预处理函数应用于数据集中的每个元素。

  5. ds_train.batch(32) 和 ds_test.batch(32): 使用 tf.data.Dataset.batch 方法将数据集划分为批次，每个批次包含 32 个样本。

  6. ds_train.prefetch(tf.data.AUTOTUNE) 和 ds_test.prefetch(tf.data.AUTOTUNE): 使用 tf.data.Dataset.prefetch 方法预取数据，以提高训练效率。tf.data.AUTOTUNE 允许 TensorFlow 自动调整预取缓冲区的大小。

  7. ds_train.take(1): 从训练数据集中取出第一个批次的数据，用于演示图像的形状和标签。

6.3.4 数据集信息

tfds.load 函数返回的 ds_info 对象包含有关数据集的元数据。可以使用它来了解数据集的特征、大小、版本等。

import tensorflow_datasets as tfds
# 加载 MNIST 数据集
_, ds_info = tfds.load('mnist', with_info=True)
# 打印数据集信息
print(ds_info)
# 访问特定信息
print("Dataset name:", ds_info.name)
print("Dataset version:", ds_info.version)
print("Dataset description:", ds_info.description)
print("Number of examples in training set:", ds_info.splits['train'].num_examples)
print("Features:", ds_info.features)
​

6.3.5 数据集划分

TFDS 将数据集划分为不同的部分，例如训练集、测试集和验证集。可以使用 split 参数指定要加载的数据集划分。

import tensorflow_datasets as tfds
# 加载 MNIST 数据集的训练集和测试集
(ds_train, ds_test), ds_info = tfds.load(
    'mnist',
    split=['train', 'test'],
    as_supervised=True,
    with_info=True
)
# 加载 MNIST 数据集的部分训练集
ds_train_subset, ds_info = tfds.load(
    'mnist',
    split='train[:20%]',  # 加载训练集的前 20%
    as_supervised=True,
    with_info=True
)
# 加载 MNIST 数据集的训练集的某一部分
ds_train_slice, ds_info = tfds.load(
    'mnist',
    split='train[10%:20%]',  # 加载训练集的 10% 到 20% 的部分
    as_supervised=True,
    with_info=True
)
​

代码详解：

  • split='train[:20%]': 加载训练集的前 20%。可以使用百分比或绝对值指定数据集的划分。

  • split='train[10%:20%]': 加载训练集的 10% 到 20% 的部分。

6.3.6 数据预处理

TFDS 与 tf.data API 集成，可以使用 tf.data API 对数据集进行预处理。

import tensorflow as tf
import tensorflow_datasets as tfds
# 加载 MNIST 数据集
(ds_train, ds_test), ds_info = tfds.load(
    'mnist',
    split=['train', 'test'],
    as_supervised=True,
    with_info=True
)
# 数据预处理函数
def preprocess(image, label):
  image = tf.image.convert_image_dtype(image, tf.float32)
  image = tf.image.resize(image, (28, 28))  # 调整图像大小
  return image, label
# 应用数据预处理
ds_train = ds_train.map(preprocess).cache().shuffle(ds_info.splits['train'].num_examples).batch(32).prefetch(tf.data.AUTOTUNE)
ds_test = ds_test.map(preprocess).cache().batch(32).prefetch(tf.data.AUTOTUNE)
# 迭代训练数据集
for image, label in ds_train.take(1):
  print("Image shape:", image.shape)
  print("Label:", label.numpy())
​

代码详解：

  • tf.image.resize(image, (28, 28)): 使用 tf.image.resize 函数将图像大小调整为 28x28。

  • .cache(): 将预处理后的数据缓存到内存或磁盘，以提高训练速度。

  • .shuffle(ds_info.splits['train'].num_examples): 打乱训练数据集，有助于模型的泛化能力。

6.3.7 创建自定义数据集

TFDS 允许用户创建和共享自己的数据集。需要定义一个继承自 tfds.core.GeneratorBasedBuilder 的类，并实现以下方法：

  • _info(): 返回一个 tfds.core.DatasetInfo 对象，其中包含数据集的元数据。

  • _split_generators(): 返回一个 tfds.core.SplitGenerator 列表，用于定义数据集的划分。

  • _generate_examples(): 生成数据集的样本。

以下是一个创建自定义数据集的示例：

import tensorflow as tf
import tensorflow_datasets as tfds
import os
class MyDataset(tfds.core.GeneratorBasedBuilder):
  """自定义数据集."""
  VERSION = tfds.core.Version('1.0.0')
  RELEASE_NOTES = {
      '1.0.0': 'Initial release.',
  }
  def _info(self):
    """定义数据集的元数据."""
    return tfds.core.DatasetInfo(
        builder=self,
        description="A simple example dataset.",
        features=tfds.features.FeaturesDict({
            'image': tfds.features.Image(),
            'label': tfds.features.ClassLabel(names=['cat', 'dog']),
        }),
        supervised_keys=('image', 'label'),  # 指定监督学习的输入和标签
        homepage='https://www.example.com/mydataset',
    )
  def _split_generators(self, dl_manager):
    """定义数据集的划分."""
    # 下载数据集（如果需要）
    # path = dl_manager.download_and_extract('http://example.com/mydataset.zip')
    path = 'path/to/your/data' # 替换成你的数据路径
    return {
        'train': self._generate_examples(os.path.join(path, 'train')),
        'test': self._generate_examples(os.path.join(path, 'test')),
    }
  def _generate_examples(self, path):
    """生成数据集的样本."""
    for filename in os.listdir(path):
      if filename.endswith('.jpg'):
        image_path = os.path.join(path, filename)
        label = 'cat' if 'cat' in filename else 'dog'  # 假设文件名包含标签信息
        yield filename, {
            'image': image_path,
            'label': label,
        }
# 使用自定义数据集
# 如果需要从网络下载数据，需要配置 dl_manager
# dl_manager = tfds.download.DownloadManager(download_dir='path/to/download')
# ds = tfds.load('my_dataset', builder_kwargs={'dl_manager': dl_manager})
ds = tfds.load('my_dataset', data_dir='path/to/tfds') # 替换成你的tfds数据目录
# 迭代数据集
for example in ds.take(1):
  print(example)
​

代码详解：

  1. class MyDataset(tfds.core.GeneratorBasedBuilder): 定义一个继承自 tfds.core.GeneratorBasedBuilder 的类，用于创建自定义数据集。

  2. VERSION 和 RELEASE_NOTES: 定义数据集的版本和发布说明。

  3. _info(self): 定义数据集的元数据，包括数据集的描述、特征、监督学习的输入和标签、主页等。

    • tfds.features.FeaturesDict：定义数据集的特征。

    • tfds.features.Image()：定义图像特征。

    • tfds.features.ClassLabel(names=['cat', 'dog'])：定义类别标签特征。

    • supervised_keys=('image', 'label')：指定监督学习的输入和标签。

  4. _split_generators(self, dl_manager): 定义数据集的划分，例如训练集和测试集。

    • dl_manager.download_and_extract('http://example.com/mydataset.zip')：下载并解压数据集。

    • self._generate_examples(os.path.join(path, 'train'))：生成训练集的样本。

    • self._generate_examples(os.path.join(path, 'test'))：生成测试集的样本。

  5. _generate_examples(self, path): 生成数据集的样本。

    • yield filename, { ... }：使用 yield 关键字生成数据集的样本，每个样本是一个字典，包含图像和标签。

  6. tfds.load('my_dataset', data_dir='path/to/tfds'): 加载自定义数据集。 data_dir 参数指定 TFDS 数据集的存储目录。

注意：

  • 需要将 path/to/your/data 替换为实际的数据路径。

  • 需要将 path/to/tfds 替换为 TFDS 数据集的存储目录。

  • 如果数据集需要从网络下载，需要配置 dl_manager。

6.3.8 TFDS 数据集图解

以下是一个使用 mermaid 绘制的 TFDS 数据集加载和预处理的流程图：

流程图解释：

  1. 加载数据集 (tfds.load)： 使用 tfds.load 函数加载数据集，返回数据集信息 ds_info、训练集 ds_train 和测试集 ds_test。

  2. 数据集信息 (ds_info)： ds_info 包含数据集的元数据，例如数据集的描述、特征、大小等。

  3. 训练集 (ds_train) 和 测试集 (ds_test)： 分别表示训练数据集和测试数据集。

  4. 数据预处理 (map)： 使用 tf.data.Dataset.map 方法对数据集进行预处理，例如归一化、调整大小等。

  5. 缓存 (cache)： 将预处理后的数据缓存到内存或磁盘，以提高训练速度。

  6. 打乱 (shuffle)： 打乱训练数据集，有助于模型的泛化能力。

  7. 批处理 (batch)： 将数据集划分为批次，每个批次包含多个样本。

  8. 预取 (prefetch)： 预取数据，以提高训练效率。

  9. 训练模型： 使用训练数据集训练模型。

  10. 评估模型： 使用测试数据集评估模型。

6.3.9 总结

TensorFlow Datasets 是一个强大的工具，可以简化机器学习模型的实验和评估过程。它提供了一个标准化的方式来访问各种数据集，并允许用户轻松地加载、预处理和使用这些数据。通过使用 TFDS，开发者可以专注于模型构建和训练，而无需花费大量时间在数据准备上。同时，TFDS 允许用户创建和共享自己的数据集，从而促进了机器学习研究的协作和共享。

通过本文的介绍，相信你已经对 TensorFlow Datasets 有了更深入的了解，可以开始尝试使用 TFDS 加载和预处理数据集，并构建自己的机器学习模型了。 记住，官方文档是最好的学习资源，可以查阅 TFDS 官方文档了解更多信息和高级用法。

发布者: 作者: 转发
评论区 (0)
U
0/500