老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

那天有朋友找我一起抓妹子图片,像我这么正派的人,肯定是要抱着学习的目的……打开网页,哇!又…又要上火了。。。。

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

话不多说,先看看网页吧!熟练的打开网页,找到妹子图,然后F12打开开发者工具,定位,ok,图片地址找到了,so easy~!,我们写入代码看看

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

WTF~!

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

返回了个空列表?加了header也是这样,为啥呢,来打开源码看看

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

原来是js数据,这就麻烦了,难道先去学习下js语法,拿js文件,分析逻辑,找最终的url吗?

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

​让我们用selenium+PhantomJS试试吧!

安装请自行百度(有些麻烦,需要下载各种浏览器的相关驱动文件,网上一堆教程)

我们先获取源码后找找刚才的标签看看效果!

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

​吼吼~乖乖的出现了吧!

下面的流程就简单了,找到URL中翻页按钮,循环它,直到没有为止!然后写个获取图片并下载的函数,不到40行代码搞定!剩下的就是静静等待了!

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

完整代码和下载效果如下:

《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》
《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》
《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》
《老司机要开车了!用Selenium+PhantomJS来抓取煎蛋网妹子图》

    原文作者:云飞学编程
    原文地址: https://www.jianshu.com/p/a82b58ba23a2
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞