Polars 简介

Polars 是一个功能强大且高效的开源数据处理和分析库，专为大规模数据集的快速操作而设计。Polars 是一个极速的数据框库，用于操作结构化数据。其核心由 Rust 编写，并可用于 Python、R 和 NodeJS。

关键特性

• 极速：从零开始使用 Rust 编写，贴近底层设计，无需外部依赖。
• 输入/输出 (I/O)：对常见数据存储层（本地、云存储和数据库）提供一流支持。
• 直观的 API：以自然的方式编写查询，Polars 会通过其查询优化器内部确定最有效的执行方式。
• 内存外计算 (Out of Core)：通过流式 API，无需将所有数据加载到内存即可处理结果。
• 并行化：充分利用机器性能，自动将工作负载分配到所有可用的 CPU 核心，无需额外配置。
• 矢量化查询引擎：借助 Apache Arrow（一种列式数据格式）以矢量化方式处理查询，并使用 SIMD 优化 CPU 使用率。
• GPU 支持：可选支持 NVIDIA GPU，在内存工作负载中实现最大性能。

特点：

它的特点包括：

1. 高性能

Polars 使用 Rust 语言实现，其并行化和矢量化能力使其在处理数据时比传统工具（如 pandas）更快，尤其是在多核计算机上。

2. 两种模式：

• Eager API（即时执行模式）：适用于小型或交互式任务，操作会立即执行并返回结果。
• Lazy API（惰性执行模式）：用于复杂数据管道，通过延迟执行优化查询计划，提升效率。

3. 核心数据结构

• DataFrame：二维数据结构，类似于表格数据，可以存储和操作结构化数据。
• Series：一维数组，与 DataFrame 中的一列对应。
• LazyFrame：支持惰性执行的 DataFrame，用于优化和链式调用。

4. 表达式 API

Polars 提供灵活的表达式 API，用于数据操作，如列运算、过滤和聚合。这种设计避免了链式操作的复杂性，使代码更易读且更高效。

5. 函数丰富

Polars 包括许多内置函数，用于字符串处理、数学计算、日期时间处理等，进一步简化了数据分析任务。

6. 适用场景

• 数据清洗与预处理。
• 大规模数据集的分析。
• 需要高效管道优化的复杂任务。

通过结合 Rust 的性能和灵活的 API，Polars 已成为数据科学和工程领域的重要工具之一。

关于 DataFrame

DataFrame 是一种二维数据结构，非常适合进行数据操作和分析。它拥有标记的行轴和列轴，每列可以包含不同的数据类型。这使得像合并和聚合这样的复杂数据操作变得更加简单。由于其灵活性以及直观的存储和操作方式，DataFrame 在现代数据分析和工程领域越来越受欢迎。

示例

以下一个典型的 Polars 数据分析代码：

import polars as pl

q = (
    pl.scan_csv("docs/assets/data/iris.csv")
    .filter(pl.col("sepal_length") > 5)
    .group_by("species")
    .agg(pl.all().sum())
)

df = q.collect()

理念

Polars 的目标是提供一个极速的数据框库，具备以下特性：

• 充分利用 机器上的所有可用核心。
• 优化查询，减少不必要的操作和内存分配。
• 处理超大数据集，即使数据量远超可用内存。
• 一致且可预测的 API，提供稳定的使用体验。
• 遵循严格的类型，确保在运行查询前明确数据类型。

Polars 使用 Rust 编写，具有接近 C/C++ 的性能，并能完全掌控查询引擎中性能关键的部分。

参考

• https://pola.rs
• https://docs.pola.rs
• https://github.com/pola-rs/polars
• https://h2oai.github.io/db-benchmark

更新时间：2024-12-11 16:42:00 标签：polars python 简介