关于 Asyncio 的其他文章: Python 的异步 IO:Asyncio 简介 Python 的异步 IO:Aiohttp Client 代码分析 如果不知道 Asyncio 是什么,先看「Asyncio 简介」那…
标签:asyncio
基于asyncio、aiohttp、xpath的异步爬虫
今天介绍一下基于asyncio和aiohttp的异步爬虫的编写,解析html用的是xpath。 该爬虫实现了以下功能:1.读取csv文件中的爬取规则,根据规则爬取数据;代码中添加了对3个网站的不同提取规则,如有需要,还可…
Python 的异步 IO:Asyncio 简介
所谓「异步 IO」,就是你发起一个 IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。 Asyncio 是并发(concurrency)的一种方式。对 Python 来说,并发还可以通过线程(t…