如何组合迭代器？

2023年3月1日 196次阅读

我有一个节点网络在其间传递结构化数据.对于我的子问题,我们有这个分支 – 线性序列的节点：

nodes = [source, n1, n2, n3, n4]

第一个节点是生成器,每个其他节点从输入节点获取值并提供输出值.当前实现是从管道和put()到管道的普通get(),每个节点有单独的线程(有理由).我想把它改成一个屈服的迭代器.

我想以下面的方式进行评估(如果我们认为节点是可调用的)：

for result in n4(n3(n2(n1(source()))):
    print result

我想像这样构建评估上下文：

context = src
for node in nodes[1:]:
    context = pipe(context, node)

for result in context:
    print result

限制：

我仍然希望能够单独使用节点 – 而不是嵌套,通过其他方式管道数据,因为节点可能位于不同的线程中.示例：[source,n1,n2]在一个线程中(可能是嵌套的),[n3,n4]在另一个线程中(可能是嵌套的),数据通过管道传输在n2和n3之间.案例：可能存在非线性节点图,我希望以这种方式对分支进行分组.

node必须是一个保持计算状态的类

上下文和管道(上下文,节点)的实现可能如何？或者如果它可以以不同的方式解决,你有任何提示吗？

可以从Python 3.3 (PEP380)中获得以任何方式帮助我的案例吗？

最佳答案 如果您只想构成任意数量的函数(或callables),请使用功能模块文档中的
compose_mult recipe.

使用它的解决方案：

from functional import compose, foldr, partial
from itertools  import imap
compose_mult = partial(reduce, compose) 
chain_nodes = lambda nodes: imap(compose_mult(nodes[1:]), nodes[0])
chain_gen_nodes = lambda nodes: imap(compose_mult((g.send for g in nodes[1:])), nodes[0])


# equivalent not as a one-liner
#def chain_nodes(nodes):
#    source = nodes[0]
#    composed_nodes = compose_mult(nodes[1:])
#    return (composed_nodes(x) for x in source)

如果节点是接受输入的发生器(通过发送),则使用chain_gen_nodes,它提取它们的发送功能.

但是请注意,不允许一个发送到刚刚启动的生成器(因为它必须处于接收该值的yield的点).这是您必须自己处理的事情,例如让您的生成器在第一次迭代时产生虚拟值,并在将它们发送到chain_nodes之前在某个时刻推进它们.或者您可以将节点保持为普通的callables.

如果你确实需要一步推进迭代器：next(izip(* nodes [1：]))

点赞