python – 使用池和多处理同时将两个函数应用于两个列表

2023年2月12日 173次阅读

我有一个(大)名单,男性和女性agentes.

我想对每个函数应用不同的函数.

在这种情况下如何使用Pool？鉴于代理商彼此独立.

一个例子是：

males = ['a', 'b', 'c']
females = ['d', 'e', 'f']
for m in males:
    func_m(m)
for f in females:
    func_f(f)

我开始是这样的：

from multiprocessing import Pool
p = Pool(processes=2)
p.map() # Here is the problem

我希望有类似的东西：

p.ZIP(func_f for f in females, func_m for m in males) # pseudocode

最佳答案 这可以使用map_async异步启动计算.这将启动所需的所有工作,然后您可以使用结果上的get方法在单个列表中收集它们.

from multiprocessing import Pool

pool = Pool(4)
res_male = pool.map_async(func_m, males)
res_females = pool.map_async(fun_f, females)

res = res_male.get()
res.extend(res_females.get())

您还可以查看更现代的concurrent.futures API,它对于这种计算更直观.

点赞