这几个月在公司里面写看好多个爬虫，一直没什么时间分析。今天由于写了两周的项目被最终弃用了（手动哭脸），很是忐忑啊，今天就趁剩下不用干活的时间分享一个之前写的Instagram的一个分布式爬虫。
爬虫的需求如下，根据用户提供的明星字段（放在mongodb的一张表里面），然后拼接成明星主页的url，通过访问明星主页的url，获取明星的最新动态，然后下载明星发布的新的图片以及视频，储存在服务器。由于需要爬取的明星量过多以及以及频率的需求，所以需要用分布式实现。
了解完需求之后实现起来就不难了，下面看一下这个简单的流程图。

image.png

我们先选取一台做master的服务器，这里主要装好redis就可以了，甚至python都可以不用装，剩下的worker就监听这个redis服务器上是否添加了url，一旦检测到有待爬取url就会提取然后进行爬取，要实现这个功能只需要在scrpay里面做以下修改就可以了

image.png

注意箭头方向，这里是跟单机scrapy最大的区别。设置完了之后去settings里面做一点数据库以及调速器的更换，如图
image.png

主要是箭头所指的三个改变，添加完这三个其实就可以实现一个分布式爬虫了，所有的我worker代码都是一样的，他们都会监听master上redis数据库，一旦发现列表ins_urls有新的url，就会直接取到然后进行爬取，一旦某台worker取到了这个url，其他机器是取不到的，至于为什么是ins_urls字段，可以看看我们第二幅图的redis_key，就是在那里定义的。好了，这样一个简单的分布式抓取就完成了。
但是这仅仅是数据抓取的实现，对于一个爬虫工程师来说做到这里肯定是不够的呀，例如怎么一键关闭所有worker啊？如何一键把爬虫全部部署到worker上？怎么监控哪台worker挂掉了啊？改代码了怎么办，每台worker登录上去改代码吗？等等各种问题。下面介绍本次爬虫用到的一个比较简单的解决办法（当然更高端的我下次再更新，耶）
首先的部署，本次的分布式部署用的是scrapyd，这是一个服务，可以直接pip install scrapyd安装好就可以直接用scrapyd命令启动了。然后就可以直接用一句命令把本地scrapy代码部署到启用了scrapyd的worker机器上了，不过首先在本地的scrapy.cfg文件里面加上要部署到的机器的ip上，也就是要部署到哪台worker的机器上，如图

image.png

之后就可以一条命令部署了，如图

image.png

这是scrapyd的官网图片，照着填完参数就好了。这就可以台机器一条名利部署上去了，但是还是太慢了是吧，这个时候偶然请教了一下大才哥（静觅博客的博主），这家伙真是吊炸天，自己基于scrapyd开发了一个部署工具，我们自己完全就不用记scrapyd的用法，这个工具可以直接用pip install gerapy安装，使用非常简单，如图

image.png

image.png

image.png

image.png

这里仅仅展示了他简单的用法，如果需要添加worker主机，直接写ip就好了，然后里面有代码打包功能，可以一键部署，这样一句命令都不行写了，
image.png

而且可以随时查看爬虫的日志。顺便说一下，大才的新书也要介绍自己gerapy的使用，想要gerapy的文档的可以问我要。

至于怎么监控哪台worker挂掉了，我用的是最简单的办法，添加了一个中间件，判断每一次访问的返回值，如图

image.png 统计了每种状态返回值的个数，用ip作为字段的ID，从返回值为200或者400的个数判断爬虫是否异常，异常了就可以针对性查看日志，然后解决掉了

最后一个要解决的是worker的scrapyd服务的稳定开启，现在我比较喜欢用dockerd稳定运行这个服务，这个留在下个版本再写。这次是运维做镜像，我现在一台机器上运行了scrapyd，然后写了一个shell脚本，类似这样

image.png

这是兄弟连老师的上课截图，我们把里面的httpd换成scrapyd，还有else下面的启动换成scrapyd就好了，我自己的那份被运维删除了，懒得写，就用这个了。

好了，现在一个比较健壮的Instagram分布式爬虫已经搭建完毕了。开了十台服务器，时刻监控着哪些明星发布了的新动态，平均每天每台机器每天抓到的小视频还有图片大概500M左右，几万连接控制在20分钟消化掉了，其实这里主要是下载时间还有下载之后回传国内消耗的时间。