pandas groupby() 创建分组对象
看过来
《pandas 教程》 持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》 和 《Python之光》。
pandas 的 DataFrame、Series 和 Index 均支持 groupby() 对数据按一定的规则进行分组，用于类型于 SQL 中的 group by 语句或者 Excel 中的分组透视操作。pandas 的 groupby() 支持更加强大、强加灵活的数据分组，将原数据创建为一个分组对象，并利用聚合统计函数或者自定义函数对分组进行聚合计算。
语法
分组方法 groupby() 在 DataFrame 和 Series 的语法大致相同，以 DataFrame 为例，如下：
DataFrame.groupby(by=None,
axis=0,
level=None,
as_index=True,
sort=True,
group_keys=True,
squeeze=NoDefault.no_default, # 将废弃
observed=False,
dropna=True)
主要功能为使用映射器或一个或者多个列对数据进行分组。
完整的 groupby 操作包括拆分对象、应用函数和合并结果的组合。它可以用于对大量数据进行分组，并在这些组上进行操作。
参数介绍
以下将介绍各位参数：
- by：mapping, function, label（标签，即索引的值）, 或者标签的列表。表示要拆分的组。
- 如果传递了长度等于所选轴的列表（如多个列，以列表的形式）或数据列（如单个列），则会按原样使用这些值来确定组
- 如果是一个函数，则会对对象索引（index）的每个值调用它
- 如果是 dict 或序列，则序列或dict值将用于确定组，序列的值首先对齐，参阅 align() 方法
- 标签或者标签列表可以通过 self 中的列传递给 group by
- 元组将被解释为（单个）键 - axis：{0 or ‘index’, 1 or ‘columns’}, 默认为 0，沿行（0）或列（1）拆分
- level：int, level 名称, 或者层级名序列, 默认 None。如果轴是多索引（分层），则按特定级别分组
- as_index：bool, 默认为 True。对于聚合输出，返回以组标签作为索引的对象。仅适用于 DataFrame。as_index=False 实际上是「SQL风格」的分组输出
- sort：bool, 默认为 True，是否对组键进行排序。关闭此选项可以获得更好的性能，这并不影响各组内观察的顺序，groupby 保留每个组中的行顺序
- group_keys：bool, 默认为 True。调用 apply 等函数时，将组键添加到索引以识别片段。
- observed：bool, 默认为 False。这只适用于任何一个组为分类数据（Categoricals）。如果为：
- True：仅显示分类的观察值
- False：显示分类的所有值 - dropna：bool, 默认为 True。如为：
- True，并且组键包含 NA值，则会删除 NA 值以及行/列
- False，NA 值也将被视为组中的键
注意：
由于从 pandas 2.1（ 2023年08月30日更新）开始，将不建议参数 axis=1 在 DataFrame.groupby() 中使用，推荐 frame.T.groupby(...) 方法，即先将 DataFrame 转置，再分组。
针对 by 参数，我们总结不同的方法如下：
- 一个 Python 函数（可以写 lambda），将在每个axis标签上调用
- 与选定轴长度相同的列表或 NumPy 数组
- dict 或 Series，提供 标签->组名 映射
- 对于 DataFrame 对象，一个字符串，指示用于分组的列名或索引级别名称
df.groupby('A')是只df.groupby(df['A'])的语法糖- 上面任何一项所组成的 list
返回数据
返回包含组信息的分组对象（groupby object），各个组会增加一个 name 属性，来表示组名。
关于分组对象可以使用以下操作：
- 统计聚合计算方法，如 sum()、max()、mean() 等
- 使用 apply() 应用函数对每个分组对象进行处理
- 使用 pipe() 应用函数，对分组对象进行处理
- 使用 filter() 整体筛选组
- 使用 transform() 实现窗口计算
- 等等
有关更详细的用法和示例，请参阅：
包括将对象拆分为组、遍历组、选择组、聚合等。
DataFrame 的示例
简单的分组功能：
df = pd.DataFrame({'Animal': ['Falcon', 'Falcon',
'Parrot', 'Parrot'],
'Max Speed': [380., 370., 24., 26.]})
df
'''
Animal Max Speed
0 Falcon 380.0
1 Falcon 370.0
2 Parrot 24.0
3 Parrot 26.0
'''
df.groupby(['Animal']).mean()
'''
Max Speed
Animal
Falcon 375.0
Parrot 25.0
'''
多层索引上的应用。我们可以使用级别参数按层次索引的不同级别进行分组：
arrays = [['Falcon', 'Falcon', 'Parrot', 'Parrot'],
['Captive', 'Wild', 'Captive', 'Wild']]
index = pd.MultiIndex.from_arrays(arrays, names=('Animal', 'Type'))
df = pd.DataFrame({'Max Speed': [390., 350., 30., 20.]},
index=index)
df
'''
Max Speed
Animal Type
Falcon Captive 390.0
Wild 350.0
Parrot Captive 30.0
Wild 20.0
'''
df.groupby(level=0).mean()
'''
Max Speed
Animal
Falcon 370.0
Parrot 25.0
'''
df.groupby(level="Type").mean()
'''
Max Speed
Type
Captive 210.0
Wild 185.0
'''
我们也可以通过设置dropna参数来选择是否在组键中包含 NA，默认设置为 True。
l = [[1, 2, 3], [1, None, 4], [2, 1, 3], [1, 2, 2]]
df = pd.DataFrame(l, columns=["a", "b", "c"])
df.groupby(by=["b"]).sum()
'''
a c
b
1.0 2 3
2.0 2 5
'''
df.groupby(by=["b"], dropna=False).sum()
'''
a c
b
1.0 2 3
2.0 2 5
NaN 1 4
'''
l = [["a", 12, 12], [None, 12.3, 33.], ["b", 12.3, 123], ["a", 1, 1]]
df = pd.DataFrame(l, columns=["a", "b", "c"])
df.groupby(by="a").sum()
'''
b c
a
a 13.0 13.0
b 12.3 123.0
'''
df.groupby(by="a", dropna=False).sum()
'''
b c
a
a 13.0 13.0
b 12.3 123.0
NaN 12.3 33.0
'''
Series 的示例
在 Series 上简单的使用：
ser = pd.Series([390., 350., 30., 20.],
index=['Falcon', 'Falcon', 'Parrot', 'Parrot'], name="Max Speed")
ser
'''
Falcon 390.0
Falcon 350.0
Parrot 30.0
Parrot 20.0
Name: Max Speed, dtype: float64
'''
ser.groupby(["a", "b", "a", "b"]).mean()
'''
a 210.0
b 185.0
Name: Max Speed, dtype: float64
'''
ser.groupby(level=0).mean()
'''
Falcon 370.0
Parrot 25.0
Name: Max Speed, dtype: float64
'''
ser.groupby(ser > 100).mean()
'''
Max Speed
False 25.0
True 370.0
Name: Max Speed, dtype: float64
'''
按索引分组。我们可以使用级别参数按层次索引的不同级别进行分组：
arrays = [['Falcon', 'Falcon', 'Parrot', 'Parrot'],
['Captive', 'Wild', 'Captive', 'Wild']]
index = pd.MultiIndex.from_arrays(arrays, names=('Animal', 'Type'))
ser = pd.Series([390., 350., 30., 20.], index=index, name="Max Speed")
ser
'''
Animal Type
Falcon Captive 390.0
Wild 350.0
Parrot Captive 30.0
Wild 20.0
Name: Max Speed, dtype: float64
'''
ser.groupby(level=0).mean()
'''
Animal
Falcon 370.0
Parrot 25.0
Name: Max Speed, dtype: float64
'''
ser.groupby(level="Type").mean()
'''
Type
Captive 210.0
Wild 185.0
Name: Max Speed, dtype: float64
'''
我们也可以通过定义 dropna 参数来选择是否在组键中包含 NA，默认设置为 True。
ser = pd.Series([1, 2, 3, 3], index=["a", 'a', 'b', np.nan])
ser.groupby(level=0).sum()
'''
a 3
b 3
dtype: int64
'''
ser.groupby(level=0, dropna=False).sum()
'''
a 3
b 3
NaN 3
dtype: int64
'''
arrays = ['Falcon', 'Falcon', 'Parrot', 'Parrot']
ser = pd.Series([390., 350., 30., 20.], index=arrays, name="Max Speed")
ser.groupby(["a", "b", "a", np.nan]).mean()
'''
a 210.0
b 350.0
Name: Max Speed, dtype: float64
'''
ser.groupby(["a", "b", "a", np.nan], dropna=False).mean()
'''
a 210.0
b 350.0
NaN 20.0
Name: Max Speed, dtype: float64
'''
Index 的分组
在 pandas 的 Index 对象上，可以使用 groupby（参数为一个类似数组的类型）按给定的值数组对索引标签进行分组。
如以下将一个 0 到 5 的 RangeIndex 类型的索引对象使用 groupby() 分为 a、b、c 三组：
idx = pd.Index(range(6))
index
# RangeIndex(start=0, stop=6, step=1)
idx.groupby([*'aabcc'])
# {'a': [0, 1], 'b': [2], 'c': [3, 4]}
它返回的一个字典以键为组名，值成员为索引标签名列表。
支持的对象
- pandas.DataFrame.groupby
- pandas.Series.groupby
- pandas.Index.groupby
参考
- https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.groupby.html
- https://pandas.pydata.org/docs/reference/groupby.html
相关内容
- pandas习题 038：分组后按列取最后一值和平均值 2024-06-07 12:02:52
- pandas 合并基金收益率数据表 2023-11-28 09:42:36
- pandas 将数据根据一定行数按列排布 2023-09-11 07:10:45
- pandas 分组按列统计数量 2023-07-31 21:54:04
- pandas 删除每个分组中的第一个数据 2023-04-02 13:22:27
- pandas 列行同时分组统计值的个数 2022-12-08 08:51:46
- pandas 按分组修正数据 2022-11-18 07:13:51
- pandas 按列拆分导出Excel 2022-09-11 18:52:55
- pandas 合并填充同类数据 2022-07-05 11:45:33
- pandas 每个分组增加一个汇总行 2022-06-27 15:48:45
- pandas 按处理后的列值进行分组计算 2022-05-05 14:25:10
更新时间：2023-09-01 12:37:28 标签：pandas python groupby 分组
