使用 Python 进行并发编程 – asyncio 篇 (三) – 掘金

这是「使用Python进行并发编程」系列的最后一篇。我特意地把它安排在了16年最后一天。 重新实验上篇的效率对比的实现 在第一篇我们曾经对比并发执行的效率，但是请求的是httpbin.org这个网站。很容易受到网络状态和其服务质量的影响。所以我考虑启用一个本地…

使用 Python 进行并发编程 – asyncio 篇 (二) – 掘金

我们今天继续深入学习asyncio。 同步机制 asyncio模块包含多种同步机制，每个原语的解释可以看线程篇，这些原语的用法上和线程/进程有一些区别。 Semaphore（信号量） 并发的去爬取显然可以让爬虫工作显得更有效率，但是我们应该把抓取做的无害，这样…

使用 Python 进行并发编程 – asyncio 篇 (一) – 掘金

由于asyncio有非常多的内容，且对Python工程师非常重要，我将分为三篇文章来介绍它。本篇还不是关于使用asyncio进行网络编程的文章，而是继续并发主题，看看使用asyncio怎么实现高效的并发程序。 前言 在Python 2的时代，高性能的网络编程主…

使用Python进行并发编程-我为什么不喜欢Gevent – 掘金

在Python的发展历史中，有过一些失败的修复CPython的缺陷和提高性能的尝试，比如消除GIL、Stackless（一个微线程扩展，避免传统线程所带来的性能与复杂度问题）、psyco (被PyPy代替)、Unladen Swallow。当然也有少数成功的，…

理解Python并发编程一篇就够了 – 线程篇 – 掘金

前言 对我来说，编程的乐趣之一是想办法让程序执行的越来越快，代码越写越优雅。在刚开始学习并发编程时，相信你它会有一些困惑，本文将解释多个并发开发的问题并帮助你快速了解并发编程的不同场景和应该使用的解决方案。 GIL Python（特指CPython）的多线程的…

理解Python并发编程一篇就够了 – 进程篇 – 掘金

在上一节理解Python并发编程一篇就够了 – 线程篇讲了一些线程的技术，本节我们接着说进程。 上节说到由于GIL（全局解释锁）的问题，多线程并不能充分利用多核处理器，如果是一个CPU计算型的任务，应该使用多进程模块 multiprocessing 。它的工作…

使用 Python 进行并发编程 – PoolExecutor 篇 – 掘金

之前我们使用多线程(threading)和多进程(multiprocessing)完成常规的需求，在启动的时候start、jon等步骤不能省，复杂的需要还要用1-2个队列。随着需求越来越复杂，如果没有良好的设计和抽象这部分的功能层次，代码量越多调试的难度就越大…