pandas df.to_parquet() 保存为 parquet 文件 pandas 教程

pandas df.to_parquet() 保存为 parquet 文件

本内容来自：https://gairuo.com

看过来

《pandas 教程》 持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》 和 《Python之光》。

Python培训

本内容来自：https://gairuo.com

pandas.DataFrame.to_parquet() 是 Pandas 库中用于将 DataFrame 对象保存为 Parquet 文件的方法。Parquet 是一种列式存储的文件格式，具有高效的压缩和编码能力，广泛应用于大数据处理和分析中。通过 to_parquet() 方法，用户可以将数据高效地存储到本地文件系统或分布式存储系统中，便于后续的数据查询、分析和共享。

语法

函数签名

DataFrame.to_parquet(
    path=None, 
    *, 
    engine='auto', 
    compression='snappy', 
    index=None, 
    partition_cols=None, 
    storage_options=None, 
    **kwargs
)

参数详解

  1. path

    • 类型: str、pathlib.Path、pyarrow.fs.FileSystem 对象等，或 None
    • 默认值: None
    • 意义: 指定要保存的 Parquet 文件的路径、URL 或文件系统对象。如果设置为 None，则返回生成的 Parquet 数据的二进制字符串。

  2. engine

    • 类型: {'auto', 'pyarrow', 'fastparquet'}
    • 默认值: 'auto'
    • 意义: 指定用于写入 Parquet 文件的引擎。可选值包括：
      • 'auto': 自动选择可用的引擎（优先选择 pyarrow，如果不可用则选择 fastparquet）。
      • 'pyarrow': 使用 pyarrow 引擎写入。
      • 'fastparquet': 使用 fastparquet 引擎写入。

  3. compression

    • 类型: str 或 None
    • 默认值: 'snappy'
    • 意义: 指定压缩算法。常见选项包括：
      • 'snappy': 默认压缩算法，平衡压缩率和速度。
      • 'gzip': 更高的压缩率，但压缩和解压速度较慢。
      • 'brotli': 提供较好的压缩率和速度。
      • 'lz4': 高速压缩和解压。
      • 'zstd': 高效压缩，支持多线程。
      • None: 不进行压缩。

  4. index

    • 类型: bool 或 str，可选
    • 默认值: None
    • 意义: 指定是否将 DataFrame 的索引写入 Parquet 文件中。
      • True: 包含索引。
      • False: 不包含索引。
      • str: 指定索引列的名称。
      • None: 默认行为，通常为 True。

  5. partition_cols

    • 类型: list-like 或 None，可选
    • 默认值: None
    • 意义: 指定用于分区的列。分区可以提高大数据集的查询性能和存储效率。例如，按年份或月份分区。

  6. storage_options

    • 类型: dict 或 None，可选
    • 默认值: None
    • 意义: 指定与存储后端连接的额外选项，如认证信息、访问权限等。适用于写入远程存储（如 S3、GCS）中的 Parquet 文件。

  7. **kwargs

    • 类型: 其他关键字参数
    • 默认值: None
    • 意义: 传递给底层引擎（如 pyarrow 或 fastparquet）的其他参数，用于进一步控制数据的写入方式。例如，可以设置 row_group_size、use_dictionary 等参数。

返回值

使用场景

DataFrame.to_parquet() 主要用于以下场景：

示例

示例 1：将 DataFrame 写入本地 Parquet 文件

import pandas as pd

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理'],
    '年龄': [30, 25, 35],
    '城市': ['纽约', '洛杉矶', '芝加哥']
}
df = pd.DataFrame(data)

# 将 DataFrame 写入本地 Parquet 文件
df.to_parquet('data.parquet')

# 读取并打印 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('data.parquet')
print(df_from_parquet)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥

示例 2：指定引擎和压缩算法写入 Parquet 文件

import pandas as pd

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理'],
    '年龄': [30, 25, 35],
    '城市': ['纽约', '洛杉矶', '芝加哥']
}
df = pd.DataFrame(data)

# 使用 'pyarrow' 引擎和 'gzip' 压缩算法写入 Parquet 文件
df.to_parquet('data_gzip.parquet', engine='pyarrow', compression='gzip')

# 读取并打印 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('data_gzip.parquet')
print(df_from_parquet)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥

示例 3：不包含索引列写入 Parquet 文件

import pandas as pd

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理'],
    '年龄': [30, 25, 35],
    '城市': ['纽约', '洛杉矶', '芝加哥']
}
df = pd.DataFrame(data)

# 将 DataFrame 写入 Parquet 文件，不包含索引
df.to_parquet('data_no_index.parquet', index=False)

# 读取并打印 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('data_no_index.parquet')
print(df_from_parquet)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥

示例 4：指定分区列写入 Parquet 文件

import pandas as pd

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理', '大卫', '伊丽莎'],
    '年龄': [30, 25, 35, 28, 32],
    '城市': ['纽约', '洛杉矶', '芝加哥', '波士顿', '旧金山']
}
df = pd.DataFrame(data)

# 将 DataFrame 按 '城市' 列分区写入 Parquet 文件
df.to_parquet('data_partitioned.parquet', partition_cols=['城市'])

# 读取并打印分区后的 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('data_partitioned.parquet')
print(df_from_parquet)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥
3    大卫   28   波士顿
4  伊丽莎   32  旧金山

示例 5：将 DataFrame 写入远程 S3 存储中的 Parquet 文件

import pandas as pd
import s3fs

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理'],
    '年龄': [30, 25, 35],
    '城市': ['纽约', '洛杉矶', '芝加哥']
}
df = pd.DataFrame(data)

# 创建 S3 文件系统对象（需要配置 AWS 凭证）
s3 = s3fs.S3FileSystem()

# 将 DataFrame 写入 S3 上的 Parquet 文件
df.to_parquet('s3://my-bucket/data_s3.parquet', engine='pyarrow', compression='snappy', storage_options={'client_kwargs': {'endpoint_url': 'https://s3.amazonaws.com'}})

# 从 S3 读取并打印 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('s3://my-bucket/data_s3.parquet', storage_options={'client_kwargs': {'endpoint_url': 'https://s3.amazonaws.com'}})
print(df_from_parquet)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥

示例 6：使用自定义数据类型写入 Parquet 文件

import pandas as pd
from sqlalchemy import create_engine, Integer, String

# 构造示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理'],
    '年龄': [30, 25, 35],
    '城市': ['纽约', '洛杉矶', '芝加哥']
}
df = pd.DataFrame(data)

# 指定每列的数据类型
dtype_mapping = {
    '姓名': 'string',
    '年龄': 'int32',
    '城市': 'string'
}

# 将 DataFrame 写入 Parquet 文件，指定数据类型
df.to_parquet('data_dtype.parquet', engine='pyarrow', compression='snappy', dtype=dtype_mapping)

# 读取并打印 Parquet 文件中的数据及数据类型
df_from_parquet = pd.read_parquet('data_dtype.parquet')
print(df_from_parquet)
print(df_from_parquet.dtypes)

输出

姓名  年龄      城市
0  艾丽丝   30     纽约
1    鲍勃   25  洛杉矶
2  查理   35   芝加哥

姓名    string
年龄      int32
城市    string
dtype: object

示例 7：使用可空数据类型写入 Parquet 文件

import pandas as pd

# 构造包含缺失值的示例数据
data = {
    '姓名': ['艾丽丝', '鲍勃', '查理', '大卫'],
    '年龄': [30, None, 35, 28],
    '城市': ['纽约', '洛杉矶', None, '波士顿']
}
df = pd.DataFrame(data)

# 使用可空数据类型写入 Parquet 文件
df.to_parquet('data_nullable.parquet', engine='pyarrow', compression='snappy', use_nullable_dtypes=True)

# 读取并打印 Parquet 文件中的数据及数据类型
df_from_parquet = pd.read_parquet('data_nullable.parquet')
print(df_from_parquet)
print(df_from_parquet.dtypes)

输出

姓名    年龄      城市
0  艾丽丝   30.0     纽约
1    鲍勃    NaN  洛杉矶
2  查理   35.0      NaN
3    大卫   28.0   波士顿

姓名      string
年龄       Float64
城市      string
dtype: object

示例 8：分块写入大型 DataFrame 到 Parquet 文件

import pandas as pd
import numpy as np

# 构造大型示例数据
data = {
    '编号': np.arange(1, 10001),
    '数值': np.random.randn(10000),
    '类别': np.random.choice(['A', 'B', 'C'], size=10000)
}
df = pd.DataFrame(data)

# 将大型 DataFrame 分块写入 Parquet 文件
df.to_parquet('large_data.parquet', engine='pyarrow', compression='snappy', chunksize=1000)

# 读取并打印部分 Parquet 文件中的数据
df_from_parquet = pd.read_parquet('large_data.parquet')
print(df_from_parquet.head())

输出

编号        数值 类别
0    1  0.123456  A
1    2 -1.234567  B
2    3  0.987654  C
3    4 -0.876543  A
4    5  1.345678  B

总结

pandas.DataFrame.to_parquet() 是一个高效、灵活的方法，用于将 Pandas 的 DataFrame 数据保存为 Parquet 文件。通过灵活配置参数，如选择引擎、指定压缩算法、控制索引的写入、分区存储、指定数据类型后端等，可以满足不同的数据存储需求。无论是处理大规模数据集、集成数据仓库、还是在分布式存储系统中存储数据，to_parquet() 都能提供高性能的数据写入能力，显著提升数据管理和处理的效率。

参考

< to_sql() 写入到关系型数据库 pandas 文件或数据的读取和导出

更新时间：2024-10-11 08:42:13 标签：pandas python parquet

无「盖若」授权，请勿以任何形式转载，公众号：gairuo
Copyright © 2019 - 2024
Gairuo.com All Rights Reserved v8.8.240502

备案 京公网安备11010502033395号 京ICP备15019454号-4