Python itertools.chain() 迭代链

说明

《Python 教程》持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》和《Python之光》。

itertools.chain() 是 Python itertools 模块中的一个函数，用于将多个可迭代对象连接起来，生成一个单一的迭代器。这个函数特别有用，可以将多个列表、元组或其他可迭代对象无缝地连接在一起进行迭代。

语法

语法为 itertools.chain(*iterables)，创建一个迭代器，它首先返回第一个可迭代对象中所有元素，接着返回下一个可迭代对象中所有元素，直到耗尽所有可迭代对象中的元素。可将多个序列处理为单个序列。大致相当于：

def chain(*iterables):
    # chain('ABC', 'DEF') --> A B C D E F
    for it in iterables:
        for element in it:
            yield element

返回一个迭代器，依次返回每个可迭代对象中的元素，直到所有的元素都被访问完。

例如：

import itertools
chains = itertools.chain(range(3), 'bye')

for i in chains:
    print(i)

'''
0
1
2
b
y
e
'''

itertools.chain 对象还有一个方法 classmethod chain.from_iterable(iterable) 从一个单独的可迭代参数中得到链式输入，该参数是延迟计算的。

例：

import itertools
chains = itertools.chain.from_iterable([range(3), 'bye'])

for i in chains:
    print(i)
'''
0
1
2
b
y
e
'''

用法示例

基本用法

import itertools

list1 = [1, 2, 3]
list2 = ['a', 'b', 'c']
list3 = [4.5, 5.5]

# 将多个列表连接在一起
combined = itertools.chain(list1, list2, list3)

# 输出连接后的结果
print(list(combined))

# 输出：
# [1, 2, 3, 'a', 'b', 'c', 4.5, 5.5]

连接不同类型的可迭代对象

import itertools

tuple1 = (1, 2, 3)
string1 = "abc"

# 将元组和字符串连接在一起
combined = itertools.chain(tuple1, string1)

# 输出连接后的结果
print(list(combined))

# 输出：
# [1, 2, 3, 'a', 'b', 'c']

处理嵌套列表

假设有一个嵌套列表，可以使用 itertools.chain 将其展平：

import itertools

nested_list = [[1, 2, 3], [4, 5], [6, 7, 8]]

# 将嵌套列表展平
flattened = itertools.chain(*nested_list)

# 输出展平后的结果
print(list(flattened))

# 输出：
# [1, 2, 3, 4, 5, 6, 7, 8]

从文件中读取多个行

假设有多个文件，每个文件包含多行数据，可以使用 itertools.chain 将它们连接起来，逐行处理：

import itertools

files = ['file1.txt', 'file2.txt', 'file3.txt']

# 打开所有文件并连接它们的行
with itertools.chain(*[open(file) for file in files]) as combined:
    for line in combined:
        print(line.strip())

实用案例：合并多文件的日志记录

假设有多个日志文件，每个文件记录了不同时间段的日志。我们希望将这些日志文件合并到一起，以便按时间顺序统一处理。

示例日志文件内容：

file1.txt

2023-07-01 10:00:00 Log entry 1 from file 1
2023-07-01 10:05:00 Log entry 2 from file 1

file2.txt

2023-07-01 10:03:00 Log entry 1 from file 2
2023-07-01 10:06:00 Log entry 2 from file 2

file3.txt

2023-07-01 10:01:00 Log entry 1 from file 3
2023-07-01 10:04:00 Log entry 2 from file 3

目标：

将这三个文件的日志合并到一起，并按时间顺序输出。

实现代码：

import itertools

# 文件列表
files = ['file1.txt', 'file2.txt', 'file3.txt']

def read_logs(files):
    # 使用 itertools.chain 将多个文件的行连接在一起
    with itertools.chain(*[open(file) for file in files]) as combined:
        for line in combined:
            yield line.strip()

# 读取并排序日志
logs = sorted(read_logs(files))

# 输出合并后的日志
for log in logs:
    print(log)

解释：

read_logs(files) 函数：该函数接收一个文件列表，使用 itertools.chain 将所有文件的行连接在一起，并逐行读取日志内容。yield line.strip() 生成一个迭代器，每次迭代返回一行去除首尾空白字符的日志。

logs = sorted(read_logs(files))：读取所有日志并按时间顺序排序。sorted() 函数会将生成器返回的日志行按字典顺序排序，由于日志行的开头是时间戳，这样可以按时间顺序排列日志。

输出合并后的日志：最后按时间顺序输出合并后的日志。

输出结果

2023-07-01 10:00:00 Log entry 1 from file 1
2023-07-01 10:01:00 Log entry 1 from file 3
2023-07-01 10:03:00 Log entry 1 from file 2
2023-07-01 10:04:00 Log entry 2 from file 3
2023-07-01 10:05:00 Log entry 2 from file 1
2023-07-01 10:06:00 Log entry 2 from file 2

这个示例展示了如何使用 itertools.chain 合并多个日志文件，并按时间顺序输出合并后的日志。这样可以方便地统一处理多个日志文件的内容，适用于需要合并和排序多个来源数据的场景。

应用场景

通过 itertools.chain，可以方便地将多个可迭代对象连接在一起，简化代码并提高可读性，特别适用于需要统一处理多个数据源的场景。

处理多个数据源：在需要从多个数据源（如多个文件、多个 API 响应）中读取数据时，可以使用 itertools.chain 将它们连接起来统一处理。
数据展平：在处理嵌套数据结构（如嵌套列表、嵌套元组）时，可以使用 itertools.chain 将其展平。
合并查询结果：在数据库查询或其他数据检索操作中，可以将多个查询结果连接起来统一处理。
处理动态输入：在需要动态组合多个可迭代对象进行处理时，itertools.chain 提供了一种简单的方式来实现这一需求。

注意事项：

惰性评估：itertools.chain 返回一个迭代器，不会立即连接所有的可迭代对象，而是按需生成元素。这意味着它在处理大数据集时非常高效。
输入类型：输入的可迭代对象可以是任何类型，只要它们是可迭代的（如列表、元组、字符串、生成器等）。

参考

https://docs.python.org/zh-cn/3/library/itertools.html#itertools.chain

< batched() 分批处理 Python 标准库 itertools 为高效循环而创建迭代器的函数 chain.from_iterable() 展平可迭代对象 >

更新时间：2024-07-03 21:03:58 标签：python itertools 链条迭代