10.3 使用 `os` 模块进行文件路径操作 (简要介绍)

10.3 使用 os 模块进行文件路径操作 (简要介绍)

第十章：NumPy 的文件输入输出

10.3 使用 os 模块进行文件路径操作 (简要介绍)

NumPy 提供了强大的数组操作功能，而将这些数据保存到文件或从文件中加载数据是常见的需求。在处理文件时，文件路径的操作至关重要。Python 的 os 模块提供了与操作系统交互的接口，包括处理文件和目录路径的功能。虽然 NumPy 本身不直接依赖 os 模块进行文件读写，但在实际应用中，os 模块经常与 NumPy 结合使用，用于构建文件路径、检查文件是否存在、创建目录等预处理操作，从而为 NumPy 的文件输入输出功能提供支持。

为什么需要 os 模块？

• 跨平台兼容性: os 模块提供了一种跨平台的方式来处理文件路径，避免了在不同操作系统上使用不同路径分隔符的问题（例如，Windows 使用 \，而 Linux 和 macOS 使用 /）。

• 路径构建: os.path.join() 函数可以智能地将多个路径组件组合成一个完整的路径，并根据操作系统自动选择正确的路径分隔符。

• 文件/目录检查: os.path.exists()、os.path.isfile() 和 os.path.isdir() 等函数可以方便地检查文件或目录是否存在，以及确定路径类型。

• 目录操作: os.makedirs() 可以创建多层嵌套的目录，os.listdir() 可以列出目录中的文件和子目录。

os 模块与 NumPy 文件输入输出的结合点

1. 构建文件路径: 在使用 np.save()、np.load()、np.savetxt() 和 np.loadtxt() 等 NumPy 函数保存或加载数据时，可以使用 os.path.join() 构建完整的文件路径。

2. 检查文件是否存在: 在加载数据之前，可以使用 os.path.exists() 检查文件是否存在，避免程序出错。

3. 创建目录: 如果要将数据保存到新的目录中，可以使用 os.makedirs() 创建目录。

4. 批量处理文件: 使用 os.listdir() 可以列出目录中的所有文件，然后可以使用循环和 NumPy 函数批量处理这些文件。

10.3.1 常用 os 模块函数

以下是一些常用的 os 模块函数，它们在 NumPy 文件输入输出的上下文中特别有用：

• os.path.join(path, *paths): 将多个路径组件智能地连接成一个完整的路径。

• os.path.abspath(path): 返回路径的绝对路径。

• os.path.exists(path): 检查路径是否存在。

• os.path.isfile(path): 检查路径是否为文件。

• os.path.isdir(path): 检查路径是否为目录。

• os.makedirs(path, exist_ok=False): 创建目录（可以创建多层嵌套目录）。 exist_ok=True 表示如果目录已存在，则不引发错误。

• os.listdir(path): 返回指定目录中所有文件和子目录的列表。

• os.getcwd(): 获取当前工作目录。

• os.chdir(path): 更改当前工作目录。

• os.path.splitext(path): 将文件名拆分为文件名和扩展名。

10.3.2 代码实践

以下是一些使用 os 模块与 NumPy 文件输入输出结合的代码示例：

import numpy as np
import os
# 1. 构建文件路径
data_dir = "data"
file_name = "my_array.npy"
file_path = os.path.join(data_dir, file_name)
# 2. 创建目录（如果不存在）
if not os.path.exists(data_dir):
    os.makedirs(data_dir)
# 3. 创建一个 NumPy 数组
my_array = np.array([[1, 2, 3], [4, 5, 6]])
# 4. 保存 NumPy 数组到文件
np.save(file_path, my_array)
print(f"NumPy array saved to: {file_path}")
# 5. 检查文件是否存在
if os.path.exists(file_path):
    # 6. 从文件加载 NumPy 数组
    loaded_array = np.load(file_path)
    print(f"NumPy array loaded from: {file_path}")
    print(f"Loaded array:\n{loaded_array}")
else:
    print(f"File not found: {file_path}")
# 7. 使用 savetxt 和 loadtxt 处理文本文件
text_file = os.path.join(data_dir, "my_data.txt")
np.savetxt(text_file, my_array, fmt='%d', delimiter=',')
loaded_from_text = np.loadtxt(text_file, delimiter=',', dtype=int)
print(f"Loaded array from text file:\n{loaded_from_text}")
# 8. 批量处理文件示例
# 假设 data 目录下有多个 .npy 文件，我们需要加载它们并计算平均值
# 创建一些示例文件
np.save(os.path.join(data_dir, "array1.npy"), np.array([1, 2, 3]))
np.save(os.path.join(data_dir, "array2.npy"), np.array([4, 5, 6]))
all_arrays = []
for filename in os.listdir(data_dir):
    if filename.endswith(".npy"):
        file_path = os.path.join(data_dir, filename)
        array = np.load(file_path)
        all_arrays.append(array)
if all_arrays:
    average_array = np.mean(np.array(all_arrays), axis=0)
    print(f"Average array: {average_array}")
else:
    print("No .npy files found in the directory.")
# 9. 使用 splitext 获取文件名和扩展名
filename, extension = os.path.splitext(file_name)
print(f"Filename: {filename}, Extension: {extension}")
​

代码详解：

1. 构建文件路径: 使用 os.path.join() 将目录名和文件名组合成一个完整的路径。这确保了代码在不同操作系统上的兼容性。

2. 创建目录: 使用 os.makedirs() 创建目录，如果目录已经存在，则不会引发错误。exist_ok=True 避免了 FileExistsError 异常。

3. 保存 NumPy 数组: 使用 np.save() 将 NumPy 数组保存到指定的文件路径。

4. 检查文件是否存在: 使用 os.path.exists() 检查文件是否存在，避免在文件不存在时尝试加载数据。

5. 加载 NumPy 数组: 使用 np.load() 从文件加载 NumPy 数组。

6. 使用 savetxt 和 loadtxt: 演示了如何使用 np.savetxt() 将数组保存为文本文件，并使用 np.loadtxt() 从文本文件加载数组。 可以指定分隔符和数据类型。

7. 批量处理文件: 使用 os.listdir() 列出目录中的所有文件，然后使用循环和 np.load() 加载 .npy 文件，并计算平均值。

8. splitext: 演示如何使用 os.path.splitext() 将文件名拆分为文件名和扩展名。

10.3.3 图示

以下是一个使用 mermaid 绘制的流程图，展示了使用 os 模块和 NumPy 进行文件输入输出的典型流程：

流程图解释：

1. 开始: 程序开始执行。

2. 目录是否存在?: 检查要保存数据的目录是否存在。

3. 是: 如果目录存在，则检查文件是否存在。

4. 否: 如果目录不存在，则创建目录。

5. 文件是否存在?: 检查要加载的文件是否存在。

6. 是: 如果文件存在，则加载数据。

7. 否: 如果文件不存在，则创建 NumPy 数组。

8. 保存数据: 将 NumPy 数组保存到文件。

9. 加载数据: 从文件加载 NumPy 数组。

10. 结束: 程序执行结束。

10.3.4 总结

os 模块是 Python 中处理文件路径的重要工具，它与 NumPy 的文件输入输出功能结合使用，可以方便地构建、检查和管理文件路径，从而提高代码的可靠性和可移植性。 通过合理运用 os 模块提供的函数，可以编写出更加健壮和灵活的 NumPy 数据处理程序。 在实际项目中，应该根据具体需求选择合适的 os 模块函数，并结合 NumPy 的文件读写功能，实现高效的数据存储和加载。