知乎问题答案图片爬虫(一)

最近跟朋友斗图,发现图片严重不足,突发奇想想用Python实现一个从知乎里面抓取相关问题下的所有图片的小工具。通过辛勤的上网搜索各位大神的工作,结合自己的实验终于初步实现了一个可以使用的图片爬虫工具。小爬虫虽然还很弱小,但总算是破茧而出了。

一开始我是从知乎问题主页上获取图片,比如这个:https://www.zhihu.com/question/28586345 通过简单的request.get可以获取到该问题首页的图片,但是因为知乎对问题列表有分页处理,从首页上只能得到第一页的答案,所以只能另想别的办法了。

通过Chrome抓取数据包发现一些端倪,如下图

《知乎问题答案图片爬虫(一)》

原来知乎调用的是这个URL来获取答案列表的。我尝试直接get这个URL结果得到返回结果提示权限错误,估计是没有登录造成的,因此接下来第一步就是–小爬虫要登录知乎。

    原文作者:来自乡下的斜睨
    原文地址: https://www.jianshu.com/p/3ffe88c7aabd
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞