Scrapy爬虫教程四 Scrapy+Selenium有浏览器界面模拟登录知乎

《Scrapy爬虫教程四 Scrapy+Selenium有浏览器界面模拟登录知乎》

Scrapy爬虫教程一 Windows下安装Scrapy的方式和问题总结

Scrapy爬虫教程二 浅析最烦人的反爬虫手段

Scrapy爬虫教程三 详细的Python Scrapy模拟登录知乎

Scrapy爬虫教程四 Scrapy+Selenium有浏览器界面模拟登录知乎

Scrapy爬虫教程五 爬虫部署

之前单独使用Scrapy来模拟登录了知乎,今天在这里结合Selenium来模拟JavaScript(也就是模拟人点击和输入)来模拟登陆知乎,这篇文章中只使用了Selenium进行有界面的模拟操作。先来介绍几个概念:

Phantomjs

    作为一个基于webkit内核的没有UI界面的浏览器,看到这里还有一些神秘感,大家就把这个当做一个浏览器就好了。而其中的一些点击、翻页等操作则由代码实现。Phantomjs提供javascript API接口,即我们可以通过js与webkit内核交互。

    关于Phantomjs的详细介绍大家可以关注这篇文章:blog.csdn.net/tengdazhang770960436/article/details/41320079

Selenium

    作为一个用于Web应用程序测试的工具,其测试直接运行在浏览器中,框架底层使用JavaScript模拟真实用户对浏览器的操作,从终端用户的角度测试应用程序。将Selenium与Phantomjs联系起来,便是我们可以通过使用Selenium操作Phantomjs访问网页以获得js生成后的网页。

有好多文章介绍了在Scrapy工程中,建立中间件,在中间件中使用Selenium来请求数据,并对返回的结果进行包装再返回到爬虫文件对应的方法中(也就是爬虫文件的方法中的response其实是在中间件中Selenium获得数据driver.page_source),针对这种形式在这里先不说明了。

简单的概念已经介绍完了,下面开始上代码,老规矩,依然是上图片:

《Scrapy爬虫教程四 Scrapy+Selenium有浏览器界面模拟登录知乎》

《Scrapy爬虫教程四 Scrapy+Selenium有浏览器界面模拟登录知乎》

亲测有效,这回可以肆无忌惮的借用数据啦,这里提醒一下知乎的反爬虫啊,User-Agent和IP代理池的使用,之后我也会有介绍的。

    原文作者:熊熊熊孩子
    原文地址: https://www.jianshu.com/p/0677d9d820b0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞