8.5 Sparse 数据结构 (稀疏数据)

8.5 Sparse 数据结构 (稀疏数据)

8.5 Pandas Sparse 数据结构：优化内存使用

在处理包含大量缺失值或重复值的超大型数据集时，传统的 Pandas DataFrame 会占用大量的内存。Sparse 数据结构是 Pandas 提供的一种有效优化内存使用的方式，特别适用于稀疏数据，即数据中大部分元素为相同值（通常是 NaN 或 0）。

8.5.1 稀疏数据概念

稀疏数据是指数据集中大部分元素都是相同值（通常是零或缺失值）的数据。例如，一个包含 10000 个元素的数组，其中只有 100 个非零值，其余 9900 个都是零，那么这个数组就可以被认为是稀疏的。

传统的 DataFrame 会为每个元素分配内存，即使该元素的值是重复的。对于稀疏数据，这会造成大量的内存浪费。Sparse 数据结构通过只存储非默认值及其位置来解决这个问题，从而显著减少内存占用。

8.5.2 Sparse 数据结构的优势

• 减少内存占用： 只存储非默认值，避免存储大量重复的默认值。

• 提高计算效率： 针对稀疏数据优化的算法，可以提高计算速度。

• 与 Pandas 集成： 无缝集成到 Pandas DataFrame 和 Series 中，方便使用。

8.5.3 Sparse 数据结构的类型

Pandas 提供了两种主要的 Sparse 数据结构：

• SparseArray： 一维数组，类似于 NumPy 数组，但针对稀疏数据进行了优化。

• SparseSeries： 基于 SparseArray 的 Series，具有 Pandas Series 的所有功能。

• SparseDataFrame： 基于 SparseSeries 的 DataFrame，具有 Pandas DataFrame 的所有功能。

8.5.4 创建 Sparse 数据结构

1. 创建 SparseArray

可以使用 pd.SparseArray() 函数从 NumPy 数组或 Python 列表创建 SparseArray。

import pandas as pd
import numpy as np
# 创建一个包含大量零的 NumPy 数组
dense_array = np.array([0, 0, 1, 0, 2, 0, 0, 3, 0])
# 创建 SparseArray，默认 fill_value 为 NaN
sparse_array = pd.SparseArray(dense_array)
print(sparse_array)
# 创建 SparseArray，指定 fill_value 为 0
sparse_array_zero = pd.SparseArray(dense_array, fill_value=0)
print(sparse_array_zero)
​

2. 创建 SparseSeries

可以使用 pd.SparseSeries() 函数从 NumPy 数组、Python 列表或 Series 创建 SparseSeries。

# 创建一个包含大量 NaN 的 Pandas Series
dense_series = pd.Series([np.nan, np.nan, 1, np.nan, 2, np.nan, np.nan, 3, np.nan])
# 创建 SparseSeries，默认 fill_value 为 NaN
sparse_series = pd.SparseSeries(dense_series)
print(sparse_series)
# 创建 SparseSeries，指定 fill_value 为 0
sparse_series_zero = pd.SparseSeries(dense_series.fillna(0), fill_value=0) #先将NaN替换为0
print(sparse_series_zero)
​

3. 创建 SparseDataFrame

可以通过多种方式创建 SparseDataFrame，例如从字典、NumPy 数组或 DataFrame 创建。

# 从字典创建 SparseDataFrame
data = {'col1': [0, 0, 1, 0, 2], 'col2': [0, 3, 0, 0, 0]}
sparse_df = pd.DataFrame.sparse.from_spmatrix(pd.DataFrame(data).sparse.to_coo())
print(sparse_df)
#从DataFrame转换
df = pd.DataFrame({'A': [1, 0, 0, 1, 0], 'B': [0, 2, 0, 0, 3]})
sparse_df = df.astype(pd.SparseDtype("int", 0))
print(sparse_df)
​

8.5.5 Sparse 数据结构的属性和方法

• fill_value： 获取或设置填充值。

• density： 非填充值的比例。

• npoints： 非填充值的数量。

• sp_values： 非填充值的 NumPy 数组。

• sp_index： 稀疏索引对象，存储非填充值的位置。

• to_dense()： 将 Sparse 数据结构转换为常规的 NumPy 数组或 Series/DataFrame。

• astype()： 转换数据类型，包括转换为 Sparse 类型。

# 访问 SparseSeries 的属性
print(sparse_series.fill_value)
print(sparse_series.density)
print(sparse_series.npoints)
print(sparse_series.sp_values)
print(sparse_series.sp_index)
# 将 SparseSeries 转换为 dense Series
dense_series_recovered = sparse_series.to_dense()
print(dense_series_recovered)
​

8.5.6 Sparse 数据结构的操作

Sparse 数据结构支持许多与常规 Pandas 数据结构相同的操作，例如：

• 索引和切片： 使用标签或位置进行索引和切片。

• 算术运算： 加法、减法、乘法、除法等。

• 统计函数： sum(), mean(), std() 等。

• 数据对齐： 当对具有不同索引的 Sparse 数据结构进行操作时，会自动进行数据对齐。

# 索引和切片
print(sparse_series[2])
print(sparse_series[2:5])
# 算术运算
sparse_series_plus_one = sparse_series + 1
print(sparse_series_plus_one)
# 统计函数
print(sparse_series.sum())
​

8.5.7 内存占用比较

使用 Sparse 数据结构可以显著减少内存占用，尤其是在处理大型稀疏数据集时。以下代码演示了 Sparse 数据结构与常规 Pandas 数据结构之间的内存占用差异。

import sys
# 创建一个大型的稀疏 NumPy 数组
size = 1000000
sparsity = 0.99
dense_array = np.random.choice([0, 1], size=size, p=[sparsity, 1 - sparsity])
# 创建 SparseArray
sparse_array = pd.SparseArray(dense_array, fill_value=0)
# 计算内存占用
dense_memory = sys.getsizeof(dense_array)
sparse_memory = sys.getsizeof(sparse_array)
print(f"Dense NumPy array memory: {dense_memory} bytes")
print(f"SparseArray memory: {sparse_memory} bytes")
# 创建大型的稀疏 Pandas Series
dense_series = pd.Series(dense_array)
sparse_series = pd.SparseSeries(dense_series, fill_value=0)
# 计算内存占用
dense_series_memory = sys.getsizeof(dense_series)
sparse_series_memory = sys.getsizeof(sparse_series)
print(f"Dense Pandas Series memory: {dense_series_memory} bytes")
print(f"SparseSeries memory: {sparse_series_memory} bytes")
​

8.5.8 使用场景

Sparse 数据结构适用于以下场景：

• 大型稀疏数据集： 例如，文本数据的词频矩阵、用户行为数据、传感器数据等。

• 包含大量缺失值的数据集： 可以将缺失值视为填充值，使用 Sparse 数据结构来减少内存占用。

• 需要进行数值计算的数据集： Sparse 数据结构支持许多数值计算操作，可以提高计算效率。

8.5.9 注意事项

• 选择合适的 fill_value： fill_value 的选择会影响内存占用和计算效率。

• 避免频繁的 dense/sparse 转换： 频繁的转换会降低性能。

• 了解 Sparse 数据结构的局限性： 某些操作可能不支持 Sparse 数据结构，需要转换为 dense 数据结构才能进行。

8.5.10 总结

Sparse 数据结构是 Pandas 提供的一种有效优化内存使用的方式，特别适用于稀疏数据。通过只存储非默认值及其位置，可以显著减少内存占用，提高计算效率。在处理大型稀疏数据集时，Sparse 数据结构是一个非常有用的工具。

8.5.11 Mermaid 图表

以下是一个简单的 Mermaid 图表，展示了 Sparse 数据结构与常规 Pandas 数据结构之间的关系：

图表解释：

• Dense DataFrame（常规 DataFrame）占用大量内存。

• Sparse DataFrame（稀疏 DataFrame）通过仅存储非填充值来提高内存效率。

• 稀疏 DataFrame 存储 fill_value（填充值）和非填充值的索引。

这个图表简洁地说明了 Sparse DataFrame 的核心思想：通过减少存储的数据量来优化内存使用。

希望这篇文章能够帮助你理解和使用 Pandas 中的 Sparse 数据结构。 记住，在处理大型稀疏数据集时，利用 Sparse 数据结构可以显著提高效率。