pandas drop_duplicates() 删除重复行

看过来

《pandas 教程》持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》和《Python之光》。

pandas 中的 drop_duplicates() 方法用于移除 DataFrame 或 Series 中的重复行。它适用于 DataFrame 和 Series 数据类型。

语法

DataFrame.drop_duplicates(subset=None,
                          keep='first',
                          inplace=False,
                          ignore_index=False)

Series.drop_duplicates(*, keep='first',
                       inplace=False,
                       ignore_index=False)

Index.drop_duplicates(*, keep='first')

参数

subset: 列表或单个列标签，默认为 None。
- 用于指定考虑哪些列来识别重复项。如果没有指定，所有列都被考虑。
keep: {'first', 'last', False}, 默认为 'first'。
- 'first': 保留第一次出现的重复项。
- 'last': 保留最后一次出现的重复项。
- False: 删除所有重复项。
inplace: 布尔值，默认为 False。
- 如果为 True，则在原地删除重复项，并返回 None。否则，返回副本。
ignore_index: 布尔值，默认为 False。
- 如果为 True，则返回的 DataFrame 将重新索引。

返回值

返回一个 DataFrame 或 Series，还支持 Index 对象，取决于输入类型。如果 inplace=True，则返回 None。

使用场景

drop_duplicates() 常用于清理数据，确保数据集没有重复项。例如，在合并多个数据源后，可能会有重复记录。或者在数据处理后，需要确保唯一性。

示例

示例 1：移除重复的行

import pandas as pd

# 构造示例数据
data = {
    'A': [1, 2, 2, 3, 4, 4, 4],
    'B': ['a', 'b', 'b', 'c', 'd', 'd', 'd']
}
df = pd.DataFrame(data)

# 原始数据
print("原始数据:\n", df)

# 移除重复的行
df_deduplicated = df.drop_duplicates()

# 结果数据
print("移除重复后的数据:\n", df_deduplicated)

输出：

原始数据:
    A  B
0  1  a
1  2  b
2  2  b
3  3  c
4  4  d
5  4  d
6  4  d

移除重复后的数据:
    A  B
0  1  a
1  2  b
3  3  c
4  4  d

示例 2：仅基于特定列移除重复行

# 基于列 'A' 移除重复行
df_deduplicated_subset = df.drop_duplicates(subset=['A'])

# 结果数据
print("基于列 'A' 移除重复后的数据:\n", df_deduplicated_subset)

输出：

基于列 'A' 移除重复后的数据:
    A  B
0  1  a
1  2  b
3  3  c
4  4  d

示例 3：保留最后出现的重复项

# 保留最后出现的重复项
df_deduplicated_last = df.drop_duplicates(keep='last')

# 结果数据
print("保留最后出现重复项后的数据:\n", df_deduplicated_last)

输出：

保留最后出现重复项后的数据:
    A  B
0  1  a
2  2  b
3  3  c
6  4  d

示例 4：删除所有重复项

# 删除所有重复项
df_no_duplicates = df.drop_duplicates(keep=False)

# 结果数据
print("删除所有重复项后的数据:\n", df_no_duplicates)

输出：

删除所有重复项后的数据:
    A  B
0  1  a
3  3  c

通过以上示例，展示了 drop_duplicates() 方法的基本使用和一些常见场景。这些示例帮助理解如何在不同的情况下移除重复数据。

参考

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.drop_duplicates.html
https://pandas.pydata.org/docs/reference/api/pandas.Series.drop_duplicates.html
https://pandas.pydata.org/docs/reference/api/pandas.Index.drop_duplicates.html