5.2 聚合函数

5.2 聚合函数

5.2 Pandas聚合函数详解

在Pandas中，聚合函数是数据分析的核心工具之一，它们允许我们对数据进行汇总和统计，从而提取有价值的信息。本节将深入探讨Pandas中的聚合函数，包括其定义、常用函数、使用方法以及实际应用。

5.2.1 什么是聚合函数

聚合函数是指接受一系列数值作为输入，并返回单个数值作为输出的函数。在Pandas中，聚合函数通常与groupby()方法结合使用，以便对分组后的数据进行汇总。

简单来说，聚合函数就是对一组数据进行计算，然后返回一个结果。例如，计算一组数据的平均值、总和、最大值或最小值等。

5.2.2 常用聚合函数

Pandas提供了丰富的内置聚合函数，涵盖了各种常见的统计计算。以下是一些最常用的聚合函数：

• sum(): 计算总和。

• mean(): 计算平均值。

• median(): 计算中位数。

• min(): 计算最小值。

• max(): 计算最大值。

• count(): 计算非缺失值的数量。

• size(): 计算分组的大小，包括缺失值。

• std(): 计算标准差。

• var(): 计算方差。

• first(): 返回第一个值。

• last(): 返回最后一个值。

• nunique(): 计算唯一值的数量。

• prod(): 计算所有值的乘积。

• quantile(): 计算分位数。

除了这些内置函数外，我们还可以自定义聚合函数，以满足特定的分析需求。

5.2.3 聚合函数的使用方法

在Pandas中，聚合函数通常与groupby()方法结合使用。groupby()方法将DataFrame按照指定的列进行分组，然后我们可以对每个分组应用聚合函数。

以下是使用聚合函数的基本步骤：

1. 使用groupby()方法对DataFrame进行分组。

2. 选择要进行聚合的列。

3. 调用聚合函数。

下面是一个简单的例子：

import pandas as pd
# 创建一个示例DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
        'Value': [10, 15, 20, 25, 30, 35]}
df = pd.DataFrame(data)
# 按照'Category'列进行分组，并计算'Value'列的平均值
mean_values = df.groupby('Category')['Value'].mean()
print(mean_values)
​

输出：

Category
A    12.5
B    22.5
C    32.5
Name: Value, dtype: float64
​

在这个例子中，我们首先使用groupby('Category')将DataFrame按照'Category'列进行分组。然后，我们选择'Value'列，并调用mean()函数计算每个分组的平均值。

5.2.4 使用agg()方法应用多个聚合函数

除了单独调用聚合函数外，我们还可以使用agg()方法一次性应用多个聚合函数。agg()方法接受一个函数名、函数列表或字典作为参数。

• 传递函数名或函数列表：

import pandas as pd
# 创建一个示例DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
        'Value': [10, 15, 20, 25, 30, 35]}
df = pd.DataFrame(data)
# 按照'Category'列进行分组，并计算'Value'列的平均值和总和
aggregated_values = df.groupby('Category')['Value'].agg(['mean', 'sum'])
print(aggregated_values)
​

输出：

          mean  sum
Category           
A         12.5   25
B         22.5   45
C         32.5   65
​

• 传递字典：

import pandas as pd
# 创建一个示例DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
        'Value1': [10, 15, 20, 25, 30, 35],
        'Value2': [1, 2, 3, 4, 5, 6]}
df = pd.DataFrame(data)
# 按照'Category'列进行分组，并对不同的列应用不同的聚合函数
aggregated_values = df.groupby('Category').agg({'Value1': 'mean', 'Value2': 'sum'})
print(aggregated_values)
​

输出：

          Value1  Value2
Category                
A           12.5       3
B           22.5       7
C           32.5      11
​

在这个例子中，我们使用字典指定了要对'Value1'列计算平均值，对'Value2'列计算总和。

5.2.5 自定义聚合函数

除了使用Pandas提供的内置聚合函数外，我们还可以自定义聚合函数。自定义聚合函数可以让我们根据特定的分析需求进行数据汇总。

要自定义聚合函数，我们需要编写一个接受Series作为输入，并返回单个数值作为输出的函数。然后，我们可以将这个函数传递给agg()方法。

import pandas as pd
import numpy as np
# 创建一个示例DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
        'Value': [10, 15, 20, 25, 30, 35]}
df = pd.DataFrame(data)
# 定义一个自定义聚合函数，计算数据的范围（最大值 - 最小值）
def range_func(x):
    return x.max() - x.min()
# 按照'Category'列进行分组，并计算'Value'列的范围
aggregated_values = df.groupby('Category')['Value'].agg(range_func)
print(aggregated_values)
​

输出：

Category
A     5
B     5
C     5
Name: Value, dtype: int64
​

在这个例子中，我们定义了一个名为range_func的自定义聚合函数，用于计算数据的范围。然后，我们将这个函数传递给agg()方法，以计算每个分组的'Value'列的范围。

5.2.6 transform()方法与聚合函数的区别

transform()方法也常与groupby()一起使用，但它与聚合函数有着本质的区别。

• 聚合函数： 将每个分组的数据汇总成一个标量值。输出结果的长度等于分组的数量。

• transform()方法： 对每个分组的每个元素进行转换，输出结果的长度与原始数据的长度相同。

简单来说，聚合函数用于汇总数据，而transform()方法用于转换数据。

import pandas as pd
# 创建一个示例DataFrame
data = {'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
        'Value': [10, 15, 20, 25, 30, 35]}
df = pd.DataFrame(data)
# 按照'Category'列进行分组，并计算'Value'列的平均值
mean_values = df.groupby('Category')['Value'].transform('mean')
print(mean_values)
​

输出：

0    12.5
1    12.5
2    22.5
3    22.5
4    32.5
5    32.5
Name: Value, dtype: float64
​

在这个例子中，我们使用transform('mean')计算每个分组的平均值，并将平均值广播到该分组的每个元素。

5.2.7 聚合函数的应用场景

聚合函数在数据分析中有着广泛的应用场景，以下是一些常见的例子：

• 销售数据分析： 按照地区、产品或时间段对销售额进行汇总，计算总销售额、平均销售额、最大销售额等。

• 用户行为分析： 按照用户、时间段或事件类型对用户行为进行汇总，计算活跃用户数、平均访问时长、点击率等。

• 财务数据分析： 按照账户、时间段或交易类型对财务数据进行汇总，计算总收入、总支出、利润等。

• 科学实验数据分析： 按照实验组、时间点或测量指标对实验数据进行汇总，计算平均值、标准差、方差等。

5.2.8 总结

聚合函数是Pandas中强大的数据分析工具，它们允许我们对数据进行汇总和统计，从而提取有价值的信息。通过结合groupby()方法和各种内置或自定义聚合函数，我们可以灵活地对数据进行分组和汇总，以满足不同的分析需求。

以下是本文的总结：

• 聚合函数接受一系列数值作为输入，并返回单个数值作为输出。

• Pandas提供了丰富的内置聚合函数，如sum()、mean()、median()、min()、max()等。

• 可以使用groupby()方法对DataFrame进行分组，然后对每个分组应用聚合函数。

• 可以使用agg()方法一次性应用多个聚合函数。

• 可以自定义聚合函数，以满足特定的分析需求。

• transform()方法与聚合函数的区别在于，前者用于转换数据，后者用于汇总数据。

• 聚合函数在销售数据分析、用户行为分析、财务数据分析和科学实验数据分析等领域有着广泛的应用。

希望本文能够帮助你更好地理解和使用Pandas中的聚合函数。