Polars 内部数据类型
说明
《Python Polars》 教程正在筹划更新中，敬请期待！Polars 是一个高性能的数据处理库，特别适用于大数据集和需要并行计算的场景。如果你在处理大数据时遇到性能瓶颈，可以考虑尝试 Polars，它的延迟计算和并行化机制可以显著提升处理效率。
Polars 的内部数据类型设计强调高效性和灵活性，其核心由 Rust 提供的强类型系统支持，结合了内存优化和矢量化计算的特点。Polars 使用 Arrow 列式格式 作为其数据组织方式。遵循这一规范使 Polars 能够以几乎没有开销的方式与其他同样使用 Arrow 规范的工具之间传输数据。Polars 的高性能主要来源于以下几个方面：其查询引擎的强大功能，对查询计划所执行的优化，以及在运行表达式时所采用的并行化处理方式。
概况
Polars 支持多种数据类型，大致分为以下几类：
- 数字数据类型（Numeric）：有符号整数（UInt8/16/32/64）、无符号整数（Int8/16/32/64）、浮点数（Float32/64）和小数（Decimal）。
- 嵌套数据类型（Nested）：列表（List）、结构体（Struct）和数组（Array）。
- 时间（Temporal）：日期（Date）、日期时间（Datetime）、时间（Time）和时间增量（Duration）。
- 杂项（Miscellaneous）：字符串（String）、二进制数据（Binary）、布尔值（Boolean）、空值（Null）、类别（Categorical）、枚举（Enum）和对象（Object）。
共 18 种 25 个。
所有类型都支持由特殊值 null 表示的缺失值。这不能与浮点数数据类型中的特殊值 NaN 混为一谈；有关更多信息，可学习关浮点数的部分。
数据类型全表
以下是根据提供信息整理的 Polars 数据类型表格：
| 类型 | 介绍 |
|---|---|
| Boolean | Boolean 类型，高效地进行位打包存储。 |
| Int8, Int16, Int32, Int64 | 各种精度的有符号整数类型。 |
| UInt8, UInt16, UInt32, UInt64 | 各种精度的无符号整数类型。 |
| Float32, Float64 | 各种精度的有符号浮点数。 |
| Decimal | 128 位精度的小数类型，可选精度和非负标度。适用于需要精确控制浮点数精度及操作的场景。参考 Python 的 decimal.Decimal 以了解更多关于小数数据类型的文档。 |
| String | 可变长度的 UTF-8 编码字符串数据，通常是人类可读的文本。 |
| Binary | 存储任意的、可变长度的原始二进制数据。 |
| Date | 表示日历日期。 |
| Time | 表示一天中的时间。 |
| Datetime | 表示日历日期和一天中的时间。 |
| Duration | 表示时间持续的长度。 |
| Array | 每个 Series 都具有已知固定形状的数组，类似于 numpy 数组。可以进一步了解数组和列表的区别及如何使用两者。 |
| List | 同质的一维容器，长度可变。可以进一步了解数组和列表的区别及如何使用两者。 |
| Object | 封装任意的 Python 对象。 |
| Categorical | 高效编码字符串数据，类别在运行时推断。可以进一步了解分类变量和枚举的区别及如何使用两者。 |
| Enum | 高效有序编码一组预定义的字符串类别。可以进一步了解分类变量和枚举的区别及如何使用两者。 |
| Struct | 复合类型，可存储多个字段。可以在专门的文档部分中了解 Struct 数据类型的更多信息。 |
| Null | 表示空值。 |
注：Int128 为 1.18.0 版本新增的类型，目前不是很稳定。
类型规则
Polars 的内部数据类型设计强调高效性和灵活性，其核心由 Rust 提供的强类型系统支持，结合了内存优化和矢量化计算的特点。以下是 Polars 内部数据类型的关键要点：
1. 基础类型
Polars 提供的基础类型直接映射到底层高性能实现，涵盖常见的数据分析需求：
- 数值类型：
- 有符号整数：
Int8、Int16、Int32、Int64。 - 无符号整数：
UInt8、UInt16、UInt32、UInt64。 - 浮点数：
Float32、Float64。 - 小数（
Decimal）：适合精确的金融计算。
- 有符号整数：
- 布尔类型：
Boolean，用于逻辑运算。 - 字符串类型：
Utf8，支持高效的字符串存储和操作。
2. 时间和日期类型
Polars 提供了丰富的时间类型，便于处理时序数据：
Date：仅表示日期（年、月、日）。Datetime：支持纳秒精度，带时区信息。Time：仅表示一天中的时间。Duration：表示时间差，适合计算时间间隔。
3. 嵌套类型
为了处理复杂数据结构，Polars 提供以下嵌套类型：
List：表示一列嵌套的列表，支持存储动态长度的数据。Struct：支持多列的嵌套结构，类似于嵌套的字典或 JSON。
4. 特殊类型
- 分类变量（Categorical）：通过将重复值映射为整数索引来节省内存。
- 枚举（Enum）：用于表示离散值集合（未来计划支持）。
- 对象类型（Object）：允许存储自定义的用户定义类型，但会牺牲矢量化性能。
5. 缺失值表示
- 所有数据类型支持缺失值，用特殊值
null表示。 - 对于浮点数，还支持
NaN（Not a Number），与null语义不同。null表示未知值，NaN表示无效计算结果（如0/0）。
6. 高效内存布局
- Polars 的数据类型采用列式存储，便于矢量化操作。
- 数值数据存储为连续内存块，减少了内存碎片并提升了缓存命中率。
- 字符串和嵌套类型通过指针或偏移量优化存储，支持动态大小但依然高效。
7. 类型推断与转换
- Polars 会自动推断数据类型，并提供显式转换的能力（如
cast方法）。 - 推断依据源数据的格式和上下文（例如，CSV 文件的列可以推断为
Utf8或Int64）。
8. 类型扩展性
- Polars 的内部实现允许扩展更多类型（如复杂数、矩阵等），满足特定领域的需求。
- Rust 的类型系统和内存安全特性，使得这些扩展在保证性能的同时减少错误。
Polars 的数据类型设计核心是高性能、灵活性和扩展性，适用于现代数据处理任务，无论是大规模数据的批处理，还是动态和复杂数据的实时分析。
参考
- https://docs.pola.rs/user-guide/concepts/data-types-and-structures
更新时间：2024-12-29 20:24:03 标签：polars python 数据类型
