同步、异步(gevent,asyncio)、多线程(threading)效率对比

对比了三种情况下采集50个网页所需时间,可以看出多线程在效率上是远高于gevent的。第一次测试的时候,没有使用monkey这个补丁,socket是阻塞调用的,效率并没有提升,因为还是同步运行的,使用monkey补丁后,使socket变为协作运行,效率大大提升。

Python的运行环境允许我们在运行时修改大部分的对象,包括模块,类甚至函数。 这是个一般说来令人惊奇的坏主意,因为它创造了“隐式的副作用”,如果出现问题 它很多时候是极难调试的。虽然如此,在极端情况下当一个库需要修改Python本身 的基础行为的时候,猴子补丁就派上用场了。在这种情况下,gevent能够 修改标准库里面大部分的阻塞式系统调用,包括socket、ssl、threading和 select等模块,而变为协作式运行。

例如,Redis的python绑定一般使用常规的tcp socket来与redis-server实例通信。 通过简单地调用gevent.monkey.patch_all(),可以使得redis的绑定协作式的调度 请求,与gevent栈的其它部分一起工作。

这让我们可以将一般不能与gevent共同工作的库结合起来,而不用写哪怕一行代码。 虽然猴子补丁仍然是邪恶的(evil),但在这种情况下它是“有用的邪恶(useful evil)”。

执行的结果分别是

同步执行:4.50s
gevent异步:0.47s
threading多线程:0.58s
更新asyncio: 1.1s
gevent并不是同时执行,还是按顺序执行,并未打乱输出结果,多线程不按顺序执行,打乱了输出结果。网络状况好(IO操作延时低)的情况下,gevent能稍微提高点效率,IO操作很费时的情况gevent效率将大大提高,效率最高的还是多线程。

gevent:当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。gevent – 廖雪峰的官方网站

# /usr/bin/python3
# -*- coding: utf-8 -*-
# Copyright (c) 2017 - walker <cail1844@gmail.com>

import gevent
import requests
import re
import timeit
import codecs
from threading import Thread
from gevent import monkey
monkey.patch_socket()


def get_title(url,title_list=[]):
    try:
        r = requests.get(url,timeout=5)
        r.encoding = 'utf8'
        html = r.text
        title = re.search(r'<title>(.*?)</title>',html).group(1)
    except TimeoutError:
        title = ''
    if title:
        title_list.append(title)
    return title

def get_url():
    baseurl = 'http://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd=%s'
    f = codecs.open('muci.txt','r','utf8')
    url_list = []
    for key in f.readlines():
        url_list.append(baseurl % key.strip())
    return url_list


url_list = get_url()

def run1():
    title_list = []
    for url in url_list:
        get_title(url,title_list)
        # title_list.append(title)
    print('Sync result length:',len(title_list),title_list)
    return title_list

def run2():
    title_list = []
    threads = [gevent.spawn(get_title,url,title_list) for url in url_list]
    gevent.joinall(threads)
    # title_list = [thread.value for thread in threads]
    print('gevent result length:',len(title_list),title_list)
    return title_list

def run3():
    title_list = []
    th = []
    for url in url_list:
        t = Thread(target=get_title,args=(url,title_list))
        th.append(t)
        t.start()
    for t in th:
        t.join()
    print('threading result length:',len(title_list),title_list)
    return title_list


if __name__ == '__main__':
    t1 = timeit.timeit('run1()',setup="from __main__ import run1",number=1)
    print('sync time:',t1)
    t2 = timeit.timeit('run2()',setup="from __main__ import run2",number=1)
    print('gevent time:',t2)
    t3 = timeit.timeit('run3()',setup="from __main__ import run3",number=1)
    print('thread time:',t3)

放到django下查看页面生成的时间

同步:19065ms
gevent:1555ms
threading:1166ms

更新

增加python3.5下的asyncio测试,时间比gevent和threading长一点,1.1s

async def get_title2():
    loop = asyncio.get_event_loop()
    title_list = []
    io = []
    for url in url_list:
        # get_title(url, title_list)
        io.append(loop.run_in_executor(None,get_title,url,title_list))
    for i in io:
        await i
    print(threading.current_thread(), 'Sync result length:', len(title_list), title_list)
    return title_list

def run4():
    loop = asyncio.get_event_loop()
    loop.run_until_complete(get_title2())
if __name__ == '__main__':
    global url_list
    url_list = get_url()
    t4 = timeit.timeit('run4()', setup="from __main__ import run4", number=1)
    print('thread time:', t4)
    原文作者:今夕何夕_walker
    原文地址: https://www.jianshu.com/p/0f50f9814a0d
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞