python generator：并行解压整个发生器

2023年5月7日 215次阅读

假设我有一个生成器,其next()函数有点贵,我想尝试并行化调用.我在哪里投入平行化？

稍微具体一点,请考虑以下示例：

# fast, splitting a file for example
raw_blocks = (b for b in block_generator(fin))
# slow, reading blocks, checking values ...
parsed_blocks = (block_parser(b) for b in raw_blocks)
# get all parsed blocks into a data structure
data = parsedBlocksToOrderedDict(parsed_blocks)

最基本的是将第二行更改为进行并行化的内容.是否有一些发生器魔法允许人们并行解包发电机(在3号线)？并行调用next()？

最佳答案 不可以.您必须按顺序调用next(),因为任何非平凡的生成器的下一个状态都由其当前状态决定.

def gen(num):
    j=0
    for i in xrange(num):
        j += i
        yield j

没有办法将调用并行化到上面的生成器,而不知道它在每个点产生一个值的状态.但如果你知道,你就不需要运行它.

点赞