pandas pd.read_pickle() 加载被 pickle 序列化对象

pandas.read_pickle 是一个函数，用于从文件加载被 pickle 序列化的 pandas 对象（或任何对象）。它接受文件路径、URL 或类似文件的对象。函数支持多种压缩格式，如 .gz、.bz2、.zip、.xz 等。可以通过 storage_options 参数指定不同的存储选项。

参数返回值

语法为：

pandas.read_pickle(filepath_or_buffer,
 compression='infer',
  storage_options=None
  )

参数说明：

• filepath_or_buffer：字符串、路径对象或实现了二进制readlines()函数的文件类对象。也可以接受URL，不限于S3和GCS。
• compression：字符串或字典，默认值为'infer'。用于对磁盘上的数据进行即时解压缩。
  • 如果设置为'infer'且filepath_or_buffer是路径类对象，则会根据扩展名检测压缩方式，例如'.gz'、'.bz2'、'.zip'等。如果使用'zip'或'tar'，则ZIP文件必须只包含一个要读取的数据文件。
  • 设置为None表示不进行解压缩。
  • 也可以是一个字典，其中键'method'设置为{'zip', 'gzip', 'bz2', 'zstd', 'xz', 'tar'}中的一种，其他键值对会分别转发给zipfile.ZipFile、gzip.GzipFile、bz2.BZ2File、zstandard.ZstdDecompressor、lzma.LZMAFile或tarfile.TarFile。例如，可以使用自定义压缩字典为Zstandard解压缩传递以下内容：compression={'method': 'zstd', 'dict_data': my_compression_dict} 。
• storage_options：字典，可选。对于特定的存储连接有意义的额外选项，例如主机、端口、用户名、密码等。
  • 对于HTTP(S) URL，键值对会作为头选项转发给urllib.request.Request。
  • 对于其他URL（例如以 s3:// 和 gcs:// 开头的），键值对会转发给fsspec.open。

返回值：

• 返回一个反序列化的 pandas 对象。

示例

import pandas as pd

# 从文件加载
df = pd.read_pickle('data.pkl')

# 从压缩文件加载
df_compressed = pd.read_pickle('data.pkl.gz')

# 从 URL 加载
df_url = pd.read_pickle('https://example.com/data.pkl')

参考

• https://pandas.pydata.org/docs/reference/api/pandas.read_pickle.html

更新时间：2024-07-10 14:46:02 标签：pandas read pickle 加载