3.3 重复值处理

3.3 重复值处理

3.3 Pandas 数据清洗与预处理：重复值处理

在数据分析和机器学习项目中，数据清洗和预处理是一个至关重要的步骤。未经清洗的数据往往包含各种问题，如缺失值、异常值和重复值，这些问题会严重影响模型的准确性和可靠性。本节重点讨论数据清洗与预处理中的重复值处理。

3.3.1 什么是重复值？

重复值是指在数据集中，两条或多条记录（行）在所有或部分列上的取值完全相同。重复值的存在可能是由于数据录入错误、数据集成过程中的疏忽、或者业务逻辑上的问题等原因造成的。

重复值带来的问题：

• 数据分析偏差： 重复值会扭曲数据的分布，导致统计分析结果产生偏差。

• 模型训练误差： 在机器学习中，重复值会影响模型的训练，降低模型的泛化能力。

• 存储空间浪费： 大量重复数据会占用不必要的存储空间。

• 业务决策失误： 基于包含重复值的数据进行决策，可能导致错误的结论。

3.3.2 Pandas 中重复值处理的相关函数

Pandas 提供了强大的函数来检测和处理重复值：

• duplicated()： 用于检测 DataFrame 或 Series 中的重复行。返回一个布尔 Series，指示每一行是否是重复的。

• drop_duplicates()： 用于删除 DataFrame 中的重复行。可以指定在哪些列上检测重复值。

3.3.3 使用 duplicated() 检测重复值

duplicated() 函数的基本语法如下：

DataFrame.duplicated(subset=None, keep='first')
​

• subset： 可选参数，指定用于检测重复值的列名列表。如果为 None，则考虑所有列。

• keep： 可选参数，指定保留哪个重复项。有三个选项：

  • 'first'：标记除第一个重复项外的所有重复项为 True。 （默认）

  • 'last'：标记除最后一个重复项外的所有重复项为 True。

  • False：标记所有重复项为 True。

代码示例：

import pandas as pd
# 创建一个包含重复值的 DataFrame
data = {'col1': ['A', 'B', 'C', 'A', 'B', 'D'],
        'col2': [1, 2, 3, 1, 2, 4],
        'col3': [True, False, True, True, False, False]}
df = pd.DataFrame(data)
print("原始 DataFrame:\n", df)
# 检测所有列上的重复值，保留第一个
duplicates = df.duplicated()
print("\n检测所有列的重复值 (keep='first'):\n", duplicates)
# 检测所有列上的重复值，保留最后一个
duplicates_last = df.duplicated(keep='last')
print("\n检测所有列的重复值 (keep='last'):\n", duplicates_last)
# 检测所有列上的重复值，标记所有重复项
duplicates_false = df.duplicated(keep=False)
print("\n检测所有列的重复值 (keep=False):\n", duplicates_false)
# 检测指定列上的重复值
duplicates_subset = df.duplicated(subset=['col1', 'col2'])
print("\n检测 'col1' 和 'col2' 列的重复值:\n", duplicates_subset)
​

代码解释：

1. 我们首先创建了一个包含重复行的 DataFrame。

2. df.duplicated() 检测 DataFrame 中所有列的重复行。默认情况下，keep='first'，这意味着除了第一次出现的重复行外，其余重复行都会被标记为 True。

3. df.duplicated(keep='last') 与 keep='first' 类似，但保留最后一个重复项。

4. df.duplicated(keep=False) 将所有重复项都标记为 True。

5. df.duplicated(subset=['col1', 'col2']) 仅在 'col1' 和 'col2' 列上检测重复值。

3.3.4 使用 drop_duplicates() 删除重复值

drop_duplicates() 函数的基本语法如下：

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)
​

• subset： 可选参数，指定用于检测重复值的列名列表。如果为 None，则考虑所有列。

• keep： 可选参数，指定保留哪个重复项。有三个选项：

  • 'first'：删除除第一个重复项外的所有重复项。（默认）

  • 'last'：删除除最后一个重复项外的所有重复项。

  • False：删除所有重复项。

• inplace： 可选参数，指定是否在原 DataFrame 上进行修改。如果为 True，则直接修改原 DataFrame；如果为 False，则返回一个新的 DataFrame。默认为 False。

• ignore_index： 可选参数，如果为 True，则重新生成索引。

代码示例：

import pandas as pd
# 创建一个包含重复值的 DataFrame
data = {'col1': ['A', 'B', 'C', 'A', 'B', 'D'],
        'col2': [1, 2, 3, 1, 2, 4],
        'col3': [True, False, True, True, False, False]}
df = pd.DataFrame(data)
print("原始 DataFrame:\n", df)
# 删除所有列上的重复值，保留第一个
df_dropped = df.drop_duplicates()
print("\n删除所有列的重复值 (keep='first'):\n", df_dropped)
# 删除所有列上的重复值，保留最后一个
df_dropped_last = df.drop_duplicates(keep='last')
print("\n删除所有列的重复值 (keep='last'):\n", df_dropped_last)
# 删除所有列上的重复值，删除所有重复项
df_dropped_false = df.drop_duplicates(keep=False)
print("\n删除所有列的重复值 (keep=False):\n", df_dropped_false)
# 删除指定列上的重复值
df_dropped_subset = df.drop_duplicates(subset=['col1', 'col2'])
print("\n删除 'col1' 和 'col2' 列的重复值:\n", df_dropped_subset)
# 删除重复值并修改原 DataFrame
df.drop_duplicates(inplace=True)
print("\n删除重复值后的 DataFrame (inplace=True):\n", df)
​

代码解释：

1. 我们首先创建了一个包含重复行的 DataFrame。

2. df.drop_duplicates() 删除 DataFrame 中所有列的重复行。默认情况下，keep='first'，这意味着除了第一次出现的重复行外，其余重复行都会被删除。

3. df.drop_duplicates(keep='last') 与 keep='first' 类似，但保留最后一个重复项。

4. df.drop_duplicates(keep=False) 删除所有重复项。

5. df.drop_duplicates(subset=['col1', 'col2']) 仅在 'col1' 和 'col2' 列上删除重复值。

6. df.drop_duplicates(inplace=True) 直接在原 DataFrame 上删除重复值。

3.3.5 重复值处理的流程图

流程图解释：

1. 开始： 数据清洗过程的起点。

2. 加载数据： 将数据加载到 Pandas DataFrame 中。

3. 检查重复值： 使用 duplicated() 函数检测 DataFrame 中是否存在重复值。

4. 选择处理方式： 如果存在重复值，则需要选择合适的处理方式：

   • 删除重复值： 使用 drop_duplicates() 函数删除重复值。

   • 保留重复值并进行分析： 在某些情况下，重复值可能包含有价值的信息，需要保留并进行进一步分析。

5. 删除重复值： 使用 drop_duplicates() 函数删除重复值，并根据实际需求选择 subset 和 keep 参数。

6. 验证删除结果： 检查删除重复值后的 DataFrame，确保删除操作符合预期。

7. 保留重复值并进行分析： 对包含重复值的数据进行进一步分析，例如统计重复值的数量、分析重复值的原因等。

8. 结束： 数据清洗过程的终点。

3.3.6 重复值处理的注意事项

• 业务理解： 在处理重复值之前，务必充分理解数据的业务含义，确定重复值是否是真正需要删除的。

• 数据来源： 了解数据来源，可以帮助判断重复值产生的原因。

• 选择合适的处理方式： 根据实际情况选择合适的处理方式，例如删除重复值、保留重复值并进行分析等。

• 谨慎使用 inplace=True： 在修改原 DataFrame 之前，最好先备份数据，以防止误操作。

• 考虑索引： 删除重复值后，可能需要重置索引，以保证数据的连续性。

• 多列重复值判断： subset 参数在处理多列重复值时非常有用，可以针对特定列进行重复值判断。

3.3.7 真实案例分析

假设我们有一个客户信息表，其中包含客户的姓名、电话号码和地址等信息。由于数据录入错误，可能存在多个客户的姓名和电话号码相同，但地址不同的情况。

处理步骤：

1. 加载数据： 将客户信息表加载到 Pandas DataFrame 中。

2. 检测重复值： 使用 duplicated(subset=['姓名', '电话号码'], keep=False) 检测姓名和电话号码相同的客户。

3. 分析重复值： 检查重复客户的地址信息，判断是否是数据录入错误。

4. 处理重复值：

   • 如果是数据录入错误，则根据实际情况修改或删除重复客户的信息。

   • 如果不是数据录入错误，则需要进一步分析重复客户的原因，例如是否是同一客户使用了不同的地址。

3.3.8 总结

重复值是数据清洗中常见的问题，Pandas 提供了 duplicated() 和 drop_duplicates() 函数来检测和处理重复值。在处理重复值时，需要充分理解数据的业务含义，选择合适的处理方式，并谨慎操作，以确保数据的准确性和可靠性。掌握重复值处理的技巧，可以有效提高数据分析和机器学习项目的质量。