Python 模块 multiprocessing 基于进程的并行

本内容来自：https://gairuo.com

说明

《Python 教程》 持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》 和 《Python之光》。

本内容来自：https://gairuo.com

multiprocessing 是 Python 中的一个多进程库，它允许在 Python 程序中启动和管理多个进程，充分利用多核 CPU 的性能来实现并行计算。Python 的 multiprocessing 库用于并行处理，能够在多核 CPU 上创建多个进程来执行任务，提升计算密集型任务的性能。

目录

• - Process 进程类
• - Pool 进程池
• - 多进程间的数据共享

主要功能

• 进程创建: 通过 Process 类创建新进程，每个进程有独立的内存空间。
• 进程池: 使用 Pool 类管理多个进程，方便批量任务执行。
• 同步机制: 提供 Lock、RLock、Semaphore、Event、Condition 等用于进程间的同步与通信。
• 进程间通信: 提供 Pipe 和 Queue，用于进程间的数据交换。
• 共享数据: 使用 Value 和 Array 在进程间共享数据。

详见：Python 多任务 中的详细讲解。

常用类和方法

Process: 用于创建新进程

• start(): 启动进程。
• join(): 等待进程结束。

Pool: 管理进程池

• apply(): 同步执行任务。
• apply_async(): 异步执行任务。
• map(): 将函数映射到序列。

Queue: 实现进程间的 FIFO 队列

• put(): 向队列中添加数据。
• get(): 从队列中获取数据。

Lock: 提供进程间的互斥锁

• acquire(): 获取锁。
• release(): 释放锁。

使用场景

• 计算密集型任务: 提高多核 CPU 的利用率，适合数据处理、科学计算。
• 任务并发执行: 用于批量任务处理，如爬虫、数据采集。

参考

• https://docs.python.org/zh-cn/3/library/multiprocessing.html

更新时间：2024-07-01 15:14:46 标签：python 进程 multiprocessing 并行