我正在使用
request模块下载网页,这非常简单.

我的问题是我正在尝试下载的页面有一些异步脚本(具有异步属性),并且它们不会从http请求中返回html文档.

我的问题是我如何使用/ with-out(最好带有)请求模块发出http请求,并且由于某些边缘情况,如上所述具有WHOLE页面下载而没有例外.

最佳答案 听起来你正在尝试使用Javascript进行webscraping.

使用请求是一种非常有趣的方法,可能对您的需求而言过于低级和耗费.这个主题非常广泛,但你应该研究更多专门构建的模块,如cheerio,x-ray和nightmare.

x-ray x-ray将允许您以类似jquery的方式直接从页面中选择元素,而不是解析整个身体.

nightmare提供了一个现代化的无头浏览器,使您可以像使用手动浏览器一样输入输入.有了这个,您应该能够更好地处理导致问题的ajax类型请求.

HTH,祝你好运！