pyppeteer: 基于asyncio的异步网页渲染爬虫库

简介

类似于selenium,pyppeteer也能渲染网页,但是它是异步的。

使用方法

安装方法

pip install pyppeteer

# python 3.7.5

import asyncio

from pyppeteer import launch
from pyquery import PyQuery as pq


async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto("http://quotes.toscrape.com/js/")
    doc = pq(await page.content())
    print("Quotes:", doc(".quote").length)
    await browser.close()


asyncio.run(main())
点赞