相关导航
pandas fillna() 填充缺失值
看过来
《pandas 教程》 持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》 和 《Python之光》。
我们接触到数据往往会存在一些缺失值，为了数据分析建立模型，我们会按照一写的规则将这些缺失进行填充修补。pandas 的 DataFrame、Series、时间序列都支持缺失值填充操作。本文将一一介绍 fillna() 在这些对象中的使用。
支持的对象
pandas 的以下对象支持 fillna() 方法：
- pandas.DataFrame.fillna
- pandas.Series.fillna
- pandas.Index.fillna
- pandas.core.groupby.DataFrameGroupBy.fillna
- pandas.core.resample.Resampler.fillna
- pandas.api.extensions.ExtensionArray.fillna
通用语法
在 DataFrame 和 Series 等对象上的 replace() 方法的参数是：
fillna(
self,
value: 'object | ArrayLike | None' = None,
method: 'FillnaOptions | None' = None,
axis: 'Axis | None' = None,
inplace: 'bool' = False,
limit=None,
downcast=None,
)
使用指定的方法填充 NA/NaN 值。
它的参数有：
- value : scalar, dict, Series, 或者 DataFrame
用于填充的值 (比如 0), 或者是一个 dict/Series/DataFrame，指定要用于的值每个索引（对于系列）或列（对于数据帧）。 值不是在 dict/Series/DataFrame 中，将不会填充。此值不能成为一个列表。 - method : {'backfill', 'bfill', 'pad', 'ffill', None}, 默认 None.用于利用现有值填充的方法，有：
- pad / ffill: 将上一个有效观察值向前传播到下一个有效观察值
- backfill / bfill: 使用下一个有效观察值来填充间隙
- axis : {0 or 'index', 1 or 'columns'}，沿其填充缺失值的轴
- inplace : bool, 默认 False。如果为 True，将原地修改。注意：这将修改此对象上的其他视图（例如数据帧）
- limit : int, 默认 None。如果指定了方法，则这是要向前/向后填充的连续 NaN 值的最大数目。换言之，如果存在超过此数量的连续 NAN 的缺口，则只能部分填补。如果未指定方法，则这是沿整个轴填充NAN 的最大条目数。如果不是 None，则必须大于 0
- downcast : dict, 默认 None。如果可能的话，一个 item->dtype 的 dict，或者一个字符串“infer”，它将尝试向下转换为适当的相等类型（例如，如果可能的话，float64 到 int64）
注意，在 DataFrameGroupBy 中使用时和通用方法一样，因为每个分组是一个 DataFrame。
通用示例
以下是一些通用功能的示例：
df = pd.DataFrame([[np.nan, 2, np.nan, 0],
[3, 4, np.nan, 1],
[np.nan, np.nan, np.nan, np.nan],
[np.nan, 3, np.nan, 4]],
columns=list("ABCD"))
df
'''
A B C D
0 NaN 2.0 NaN 0.0
1 3.0 4.0 NaN 1.0
2 NaN NaN NaN NaN
3 NaN 3.0 NaN 4.0
'''
# 将所有NaN元素替换为0
df.fillna(0)
'''
A B C D
0 0.0 2.0 0.0 0.0
1 3.0 4.0 0.0 1.0
2 0.0 0.0 0.0 0.0
3 0.0 3.0 0.0 4.0
'''
# 我们还可以向前或向后传播非null值。
df.fillna(method="ffill")
'''
A B C D
0 NaN 2.0 NaN 0.0
1 3.0 4.0 NaN 1.0
2 3.0 4.0 NaN 1.0
3 3.0 3.0 NaN 4.0
'''
# 将列“A”、“B”、“C”和“D”中的所有NaN元素
# 分别替换为0、1、2和3
values = {"A": 0, "B": 1, "C": 2, "D": 3}
df.fillna(value=values)
'''
A B C D
0 0.0 2.0 2.0 0.0
1 3.0 4.0 2.0 1.0
2 0.0 1.0 2.0 3.0
3 0.0 3.0 2.0 4.0
'''
# 仅替换第一个NaN元素
df.fillna(value=values, limit=1)
'''
A B C D
0 0.0 2.0 2.0 0.0
1 3.0 4.0 NaN 1.0
2 NaN 1.0 NaN 3.0
3 NaN 3.0 NaN 4.0
'''
# 使用 DataFrame 填充时，替换将沿着相同的列名和索引进行
# 请注意，D列不受影响，因为它在df2中不存在
df2 = pd.DataFrame(np.zeros((4, 4)), columns=list("ABCE"))
df.fillna(df2)
'''
A B C D
0 0.0 2.0 0.0 0.0
1 3.0 4.0 0.0 1.0
2 0.0 0.0 0.0 NaN
3 0.0 3.0 0.0 4.0
'''
Index.fillna
pandas 的索引对象支持的语法功能有些不同，语法为：
pd.Index.fillna(self, value=None, downcast=None)
参数为：
- value : scalar
- 用于填充的标量值（例如0）
- 此值不能是类似列表的值
- downcast : dict, 默认不 None
- 如果可能的话，向下转型 item->dtype
- 字符串“infer”将尝试向下转换为适当的相等类型（如可能的话，将float64转换为int64）
Resampler.fillna
在统计学中，插补是用替代值替换缺失数据的过程。重新采样数据时，可能会出现缺失值（例如，当重新采样频率高于原始频率时）。
它填充上采样引入的缺失值，语法为：
Resampler.fillna(method, limit=None)
将不会修改原始数据中存在的缺失值。
参数：
- method: {‘pad’, ‘backfill’, ‘ffill’, ‘bfill’, ‘nearest’}
- nearest：使用最近的有效观测值来填充间隙。
- limit: int, optional
参数为的意义与通用的语法中的相同。
示例：
# Series:
s = pd.Series([1, 2, 3],
index=pd.date_range('20180101', periods=3, freq='h'))
s
'''
2018-01-01 00:00:00 1
2018-01-01 01:00:00 2
2018-01-01 02:00:00 3
Freq: H, dtype: int64
'''
# 在不填充缺失值的情况下，您可以获得：
s.resample("30min").asfreq()
'''
2018-01-01 00:00:00 1.0
2018-01-01 00:30:00 NaN
2018-01-01 01:00:00 2.0
2018-01-01 01:30:00 NaN
2018-01-01 02:00:00 3.0
Freq: 30T, dtype: float64
'''
s.resample('30min').fillna("backfill")
'''
2018-01-01 00:00:00 1
2018-01-01 00:30:00 2
2018-01-01 01:00:00 2
2018-01-01 01:30:00 3
2018-01-01 02:00:00 3
Freq: 30T, dtype: int64
'''
s.resample('15min').fillna("backfill", limit=2)
'''
2018-01-01 00:00:00 1.0
2018-01-01 00:15:00 NaN
2018-01-01 00:30:00 2.0
2018-01-01 00:45:00 2.0
2018-01-01 01:00:00 2.0
2018-01-01 01:15:00 NaN
2018-01-01 01:30:00 3.0
2018-01-01 01:45:00 3.0
2018-01-01 02:00:00 3.0
Freq: 15T, dtype: float64
'''
s.resample('30min').fillna("pad")
'''
2018-01-01 00:00:00 1
2018-01-01 00:30:00 1
2018-01-01 01:00:00 2
2018-01-01 01:30:00 2
2018-01-01 02:00:00 3
Freq: 30T, dtype: int64
'''
s.resample('30min').fillna("nearest")
'''
2018-01-01 00:00:00 1
2018-01-01 00:30:00 2
2018-01-01 01:00:00 2
2018-01-01 01:30:00 3
2018-01-01 02:00:00 3
Freq: 30T, dtype: int64
'''
# 上采样前存在的缺失值不受影响。
sm = pd.Series([1, None, 3],
index=pd.date_range('20180101', periods=3, freq='h'))
sm
'''
2018-01-01 00:00:00 1.0
2018-01-01 01:00:00 NaN
2018-01-01 02:00:00 3.0
Freq: H, dtype: float64
'''
sm.resample('30min').fillna('backfill')
'''
2018-01-01 00:00:00 1.0
2018-01-01 00:30:00 NaN
2018-01-01 01:00:00 NaN
2018-01-01 01:30:00 3.0
2018-01-01 02:00:00 3.0
Freq: 30T, dtype: float64
'''
sm.resample('30min').fillna('pad')
'''
2018-01-01 00:00:00 1.0
2018-01-01 00:30:00 1.0
2018-01-01 01:00:00 NaN
2018-01-01 01:30:00 NaN
2018-01-01 02:00:00 3.0
Freq: 30T, dtype: float64
'''
sm.resample('30min').fillna('nearest')
'''
2018-01-01 00:00:00 1.0
2018-01-01 00:30:00 NaN
2018-01-01 01:00:00 NaN
2018-01-01 01:30:00 3.0
2018-01-01 02:00:00 3.0
Freq: 30T, dtype: float64
'''
# 数据帧重采样是按列进行的，所有相同的选项都可用
df = pd.DataFrame({'a': [2, np.nan, 6], 'b': [1, 3, 5]},
index=pd.date_range('20180101', periods=3,
freq='h'))
df
'''
a b
2018-01-01 00:00:00 2.0 1
2018-01-01 01:00:00 NaN 3
2018-01-01 02:00:00 6.0 5
'''
df.resample('30min').fillna("bfill")
'''
a b
2018-01-01 00:00:00 2.0 1
2018-01-01 00:30:00 NaN 3
2018-01-01 01:00:00 NaN 3
2018-01-01 01:30:00 6.0 5
2018-01-01 02:00:00 6.0 5
'''
ExtensionArray.fillna
pandas 的数组扩展对象 pandas.api.extensions.ExtensionArray.fillna 支持语法为：
ExtensionArray.fillna(value=None, method=None, limit=None)
参数也与通用语法相同:
- value: scalar, array-like。如果传递了标量值，则使用标量值填充所有缺失的值。或者，可以给出类似“value”的数组。预计类数组的长度与“self”相同。
- method: {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, 默认 None
- limit: int, 默认 None。如果指定了方法，则这是要向前/向后填充的连续NaN值的最大数目。换言之，如果存在超过此数量的连续NAN的缺口，则只能部分填补。如果未指定方法，则这是沿整个轴填充NAN的最大条目数。
相关方法
以下是一些相关的特殊方法：
- interpolate : 使用插值填充NaN值
- reindex : 使对象符合新索引
- asfreq : 将时间序列转换为指定的频率
参考
- https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.fillna.html
相关内容
- pandas 获取有缺失值列表中的有效值 April 22, 2023, 12:37 p.m.
- pandas 按组将数据左右拼接 Feb. 12, 2023, 8:13 p.m.
- pandas 按分组修正数据 Nov. 18, 2022, 7:13 a.m.
- pandas 两个不同结构 DataFrame 相加合并 Sept. 2, 2022, 5:30 p.m.
- pandas 将缺失值和无穷值替换为当列的平均值 July 13, 2022, 11:41 a.m.
更新时间：June 3, 2022, 1:53 p.m. 标签：pandas 缺失值
