文集文档索引

本文集文档发布于灏天文库

TensorFlow、PyTorch 入门实战：快速搭建你的第一个AI模型

  • 文集信息
  • 目录大纲
  • 最新文档
  • 知识宇宙

文集详情

文集导读

TensorFlow、PyTorch 入门实战：快速搭建你的第一个AI模型 TensorFlow、PyTorch 入门实战：快速搭建你的第一个AI模型 引言 欢迎来到深度学习的实战领域！在前期的学习中，你可能已经了解了神经网络的基本原理。现在，是时候将理论付诸实践了。TensorFlow和PyTorch是当前最受欢迎的两个开源深度学习框架，它们提供了丰富的工具和库，极大地简化了模型构建、训练和部署的流程。本章将带你通过一个简单的图像分类任务，分别使用TensorFlow（侧重Keras API）和PyTorch，快速搭建并运行你的第一个AI模型，让你直观感受这两个框架的特点和使用方式。 准备工作 在开始实战之前，请确保你的开发环境已准备就绪： Python环境： 安装Python 3.6或更高版本。推荐使用Anaconda或Miniconda来管理Python环境和依赖库。 安装TensorFlow和PyTorch： 安装TensorFlow： (默认安装CPU版本)。如需GPU支持，请查阅官方文档安装对应版本。 安装PyTorch：请访问PyTorch官方网站根据你的操作系统、包管理器、Python版本和CUDA版本（如需GPU）选择合适的安装命令。例如，对于CPU版本： 。

TensorFlow、PyTorch 入门实战：快速搭建你的第一个AI模型

TensorFlow、PyTorch 入门实战：快速搭建你的第一个AI模型

引言

欢迎来到深度学习的实战领域！在前期的学习中，你可能已经了解了神经网络的基本原理。现在，是时候将理论付诸实践了。TensorFlow和PyTorch是当前最受欢迎的两个开源深度学习框架，它们提供了丰富的工具和库，极大地简化了模型构建、训练和部署的流程。本章将带你通过一个简单的图像分类任务，分别使用TensorFlow（侧重Keras API）和PyTorch，快速搭建并运行你的第一个AI模型，让你直观感受这两个框架的特点和使用方式。

准备工作

在开始实战之前，请确保你的开发环境已准备就绪：

  1. Python环境： 安装Python 3.6或更高版本。推荐使用Anaconda或Miniconda来管理Python环境和依赖库。

  2. 安装TensorFlow和PyTorch：

    • 安装TensorFlow：pip install tensorflow (默认安装CPU版本)。如需GPU支持，请查阅官方文档安装对应版本。

    • 安装PyTorch：请访问PyTorch官方网站根据你的操作系统、包管理器、Python版本和CUDA版本（如需GPU）选择合适的安装命令。例如，对于CPU版本：pip install torch torchvision torchaudio。

  3. 基础知识： 了解Python编程基础，对机器学习和神经网络的基本概念（如层、激活函数、损失函数、优化器、训练集、测试集）有初步认识。

选择你的工具：TensorFlow还是PyTorch？

对于初学者搭建第一个模型而言，选择哪个框架都可以。

  • TensorFlow (Keras API): Keras是TensorFlow的高级API，设计理念是易用、模块化和可扩展。它提供了一系列预定义的层和模型，通过简单的几行代码就可以构建复杂的网络结构。对于快速原型开发和入门来说，Keras非常友好。

  • PyTorch: PyTorch以其Pythonic的风格和动态计算图而受到研究人员的青睐。它的API设计更加灵活，用户对训练过程有更细致的控制。虽然训练循环需要手动编写，但这有助于深入理解模型训练的内部机制。

本章将分别演示如何使用它们来完成同一个任务，你可以通过实践来感受两者的差异。

AI模型搭建的基本流程

无论使用哪个框架，搭建和训练一个AI模型通常遵循以下基本流程：

这个流程图概括了从原始数据到最终预测的典型步骤。接下来，我们将分别在TensorFlow和PyTorch中实现这个流程。

使用TensorFlow搭建你的第一个模型

我们将使用经典的Fashion MNIST数据集，这是一个包含10个类别、70000张28x28灰度图像的数据集（60000张用于训练，10000张用于测试）。任务是将每张图像分类到对应的服装类别。

  1. 安装与环境准备：

    pip install tensorflow matplotlib
​

  2. 数据加载与预处理：

    Keras内置了许多常用数据集，Fashion MNIST就是其中之一。

    import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt
# 加载数据集
fashion_mnist = keras.datasets.fashion_mnist
(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
# 数据预处理：像素值归一化到0-1范围
train_images = train_images / 255.0
test_images = test_images / 255.0
# 数据形状：(60000, 28, 28), (10000, 28, 28)
# 对于全连接网络，需要将28x28的图像展平为784维向量
# Keras的Flatten层会自动处理，这里可以先不手动reshape
​

  3. 构建模型：Keras Sequential API

    Sequential模型是Keras中最简单的模型类型，它允许你按顺序堆叠层。我们将构建一个简单的全连接网络（Dense Network）。

    model = keras.Sequential([
    # 将28x28的图像展平为784维向量
    keras.layers.Flatten(input_shape=(28, 28)),
    # 第一个全连接隐藏层，128个神经元，使用ReLU激活函数
    keras.layers.Dense(128, activation='relu'),
    # 输出层，10个神经元对应10个类别，使用Softmax激活函数输出概率分布
    keras.layers.Dense(10, activation='softmax')
])
​

    这个图表示了一个简单的三层神经网络结构：输入层（展平的图像像素）、一个隐藏层和一个输出层。

  4. 编译模型：

    编译模型是配置训练过程的关键步骤。你需要指定优化器、损失函数和评估指标。

    • 优化器 (Optimizer): 如何根据损失函数调整模型参数（权重和偏置）。adam是一种常用的优化器。

    • 损失函数 (Loss Function): 衡量模型预测结果与真实标签之间的差距。对于多分类问题，当标签是整数形式时，sparse_categorical_crossentropy是合适的选择。

    • 评估指标 (Metrics): 用于在训练和测试过程中监控模型的性能。accuracy是分类任务中常用的指标。

    model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
​

  5. 模型训练：

    使用model.fit()方法将训练数据“拟合”到模型中。

    • epochs: 训练的轮次。一轮训练意味着模型会遍历整个训练数据集一次。
    history = model.fit(train_images, train_labels, epochs=10) # 可以尝试不同的epochs值
​

    训练过程中，你会看到每个epoch的损失值和准确率如何变化。

  6. 模型评估与预测：

    训练完成后，使用测试数据集评估模型的性能。

    test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)
print(f'\n测试集准确率: {test_acc}')
# 进行预测
predictions = model.predict(test_images)
# 查看第一个测试图像的预测结果
# predictions[0] 是一个包含10个数字的数组，表示模型对这张图像属于每个类别的信心
print(f'\n第一个测试图像的预测概率分布: {predictions[0]}')
# 找到概率最高的类别索引
predicted_label = np.argmax(predictions[0])
print(f'第一个测试图像的预测类别索引: {predicted_label}')
print(f'第一个测试图像的真实类别索引: {test_labels[0]}')
​

至此，你已经使用TensorFlow (Keras) 成功构建、训练并评估了一个简单的图像分类模型！

使用PyTorch搭建你的第一个模型

接下来，我们将使用PyTorch完成同样的数据集和任务。

  1. 安装与环境准备：

    pip install torch torchvision matplotlib
​

  2. 数据加载与预处理：Dataset与DataLoader

    PyTorch使用Dataset和DataLoader来处理数据。Dataset负责访问数据样本及其标签，DataLoader则负责将数据按批次加载、打乱和并行处理。

    import torch
import torch.nn as nn
import torch.optim as optim
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import numpy as np
# 数据预处理：转换为Tensor并进行归一化
# FashionMNIST图像是PILImage格式，ToTensor将其转换为CxHxW的Tensor，像素值在0-1
# Normalize使用均值和标准差对Tensor进行归一化 (这里使用简单的0.5, 0.5)
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,)) # 灰度图像只有一个通道
])
# 加载数据集
train_dataset = torchvision.datasets.FashionMNIST(root='./data', train=True,
                                                 download=True, transform=transform)
test_dataset = torchvision.datasets.FashionMNIST(root='./data', train=False,
                                                download=True, transform=transform)
# 创建DataLoader
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, # 每批次64张图像
                                           shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64,
                                          shuffle=False)
# 类别名称
classes = ('T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',
           'Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot')
​

  3. 构建模型：nn.Module

    在PyTorch中，模型通常通过继承torch.nn.Module类来定义。你需要实现__init__方法来定义模型的层，以及forward方法来定义数据如何通过这些层。

    class SimpleNN(nn.Module):
    def __init__(self):
        super(SimpleNN, self).__init__()
        # 定义全连接层
        # 输入是展平后的图像 28*28 = 784
        self.fc1 = nn.Linear(28 * 28, 128)
        # 定义ReLU激活函数
        self.relu = nn.ReLU()
        # 定义输出层
        self.fc2 = nn.Linear(128, 10) # 10个输出对应10个类别
    def forward(self, x):
        # 将图像展平 [batch_size, 1, 28, 28] -> [batch_size, 784]
        x = x.view(-1, 28 * 28)
        # 通过第一个全连接层和ReLU激活
        x = self.fc1(x)
        x = self.relu(x)
        # 通过输出层
        x = self.fc2(x)
        # 注意：PyTorch的CrossEntropyLoss包含了Softmax，所以输出层不需要Softmax
        return x
# 实例化模型
model = SimpleNN()
# 将模型移动到GPU（如果可用）
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model.to(device)
print(f"Using device: {device}")
​

  4. 定义损失函数与优化器：

    # 定义损失函数：交叉熵损失，适用于多分类问题
criterion = nn.CrossEntropyLoss()
# 定义优化器：Adam，将模型的参数传递给优化器
optimizer = optim.Adam(model.parameters(), lr=0.001) # 可以尝试不同的学习率lr
​

  5. 模型训练循环：

    PyTorch的训练过程通常需要手动编写循环，这让你对训练过程有更细致的控制。

    num_epochs = 10 # 训练轮次
for epoch in range(num_epochs):
    running_loss = 0.0
    # 将模型设置为训练模式
    model.train()
    for i, data in enumerate(train_loader, 0):
        # 获取输入数据和标签
        inputs, labels = data
        inputs, labels = inputs.to(device), labels.to(device) # 将数据移动到设备
        # 梯度清零
        optimizer.zero_grad()
        # 前向传播
        outputs = model(inputs)
        # 计算损失
        loss = criterion(outputs, labels)
        # 反向传播
        loss.backward()
        # 更新参数
        optimizer.step()
        # 统计损失
        running_loss += loss.item()
        # 每100个批次打印一次统计信息
        if i % 100 == 99:
            print(f'Epoch [{epoch + 1}/{num_epochs}], Step [{i + 1}/{len(train_loader)}], Loss: {running_loss / 100:.3f}')
            running_loss = 0.0
print('训练完成')
​

    这个图展示了PyTorch中一个典型的训练循环的步骤。

  6. 模型评估与预测：

    评估模型性能通常在训练完成后进行，使用测试数据集。在评估时，需要将模型设置为评估模式 (model.eval()) 并关闭梯度计算 (torch.no_grad())。

    correct = 0
total = 0
# 将模型设置为评估模式
model.eval()
# 关闭梯度计算
with torch.no_grad():
    for data in test_loader:
        images, labels = data
        images, labels = images.to(device), labels.to(device) # 将数据移动到设备
        # 前向传播
        outputs = model(images)
        # 获取预测结果 (Softmax在CrossEntropyLoss内部，这里直接取最大值的索引)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()
print(f'测试集准确率: {100 * correct / total:.2f} %')
# 进行预测 (例如，对测试集中的一批数据进行预测)
dataiter = iter(test_loader)
images, labels = next(dataiter)
images, labels = images.to(device), labels.to(device)
outputs = model(images)
_, predicted = torch.max(outputs.data, 1)
print('\n预测结果示例:')
print('预测: ', ' '.join(f'{classes[predicted[j]]:5s}' for j in range(4)))
print('真实: ', ' '.join(f'{classes[labels[j]]:5s}' for j in range(4)))
​

通过以上步骤，你已经成功使用PyTorch构建、训练并评估了你的第一个图像分类模型！

TensorFlow与PyTorch初体验对比

通过上面的实战，你可能已经注意到两者在入门阶段的一些差异：

  • 模型构建： TensorFlow Keras的Sequential API非常直观，层层堆叠即可。PyTorch通过继承nn.Module并实现__init__和forward方法，提供了更大的灵活性。

  • 训练循环： TensorFlow Keras提供了高级的model.fit()方法，封装了训练循环的细节，使用起来非常便捷。PyTorch则需要手动编写训练循环，包括梯度清零、前向传播、计算损失、反向传播和参数更新等步骤，这有助于理解训练过程的原理。

  • 数据处理： 两者都提供了方便的数据加载工具（TensorFlow的tf.data和Keras内置数据集，PyTorch的Dataset和DataLoader）。PyTorch的DataLoader在处理自定义数据集时非常灵活。

对于快速入门和搭建第一个模型，Keras的model.fit可能让你更快看到结果。但PyTorch手写训练循环的方式，能让你更清晰地看到模型是如何一步步学习的。两者各有优势，选择哪个取决于个人偏好和项目需求。

总结与展望

恭喜你！你已经迈出了深度学习实战的第一步，分别使用TensorFlow和PyTorch成功搭建并训练了你的第一个AI模型。通过这个简单的图像分类任务，你了解了模型搭建的基本流程，并亲手实践了数据加载、模型定义、编译/定义损失优化器、训练以及评估预测等核心步骤。

这只是深度学习的冰山一角。接下来，你可以尝试：

  • 使用更复杂的模型： 例如卷积神经网络（CNN）处理图像数据，它们通常在图像任务上表现更好。

  • 使用不同的数据集和任务： 尝试文本分类、回归、生成任务等。

  • 深入理解训练过程： 学习学习率调度、正则化、批量归一化等技术。

  • 探索更多高级API： 如TensorFlow的函数式API、PyTorch Lightning等。

不断实践是掌握深度学习框架的关键。希望本章为你提供了坚实的基础，鼓励你继续探索AI的广阔世界！

目录大纲

    最新文档

    知识宇宙

    正在加载知识图谱...

    转发

    相关文集

    实时AI与流式计算 2026年AI颠覆性技术全景：从AGI到量子AI TensorRT加速推理 Llama.cpp 神经形态计算 (Neuromorphic Computing) 具身智能 (Embodied AI)