爬虫介绍：

用于微信公众号以及文章的爬取，爬取速度较低网速测试平均为200条文章每分钟，基本100页的文章页面4min之内就可以搞定。

页面爬取和数据抓取的速度很快，影响速度的主要是selenium的登陆操作和验证码操作。另外我还设置了1～3秒的页面下载随机延时。

爬虫效果图

微信文章item导出成csv文件：

尤克里里相关文章

微信公众号item导出成csv文件：

尤克里里相关公众号

上图侵删

爬取入口：https://weixin.sogou.com/

搜狗微信提供文章搜索以及公众号搜索

公众号搜索url格式：https://weixin.sogou.com/weixin?query={word}&_sug_type_=&s_from=input&_sug_=n&type=2&page={page}&ie=utf8

文章搜索url格式：https://weixin.sogou.com/weixin?query={word}&_sug_type_=&s_from=input&_sug_=n&type=1&page={page}&ie=utf8

注：url中的{word} 为搜索关键词，{page}为搜索的起始页

爬取思路：scrapy + selenium

scrapy负责url的抓取，访问以及数据的采集，selenium负责cookie抓取以及验证码的处理。

以文章的抓取为例：

下图是page页，每页可以获取十条与搜索词相关的文章：

page页

翻页url通过对文章url中的 {page}加1来构造下一页的链接，文章的数据的获取通过scrapy中的response.xpath方法很容易实现。

登陆权限：cookies

如果按照上面的爬虫思路进行，很快就会出现问题。微信搜狗默认在用户没有登陆的情况下，只能浏览前10页。用户需要登陆才能继续浏览剩余的页面信息。所以一开始我们需要先登陆搜狗微信，page页右上角有一个登陆按钮，点击扫码登陆。获取登陆后的cookie添加到爬虫中，可以继续爬取剩余页面

登陆

登陆操作放在scrapy的download中间件中，在middleware中创建一个中间件类。设置process_request方法，如果通过中间件的reques没有带上cookies，则调用chrome，进行扫码登陆操作，保存并设置cookies。需要注意的是，Chrome中的cookies值和scrapy中的Request的Cookies值不同，所以需要先进行格式的转换。有时间我再写一篇关于requests模块，selenium，scrapy的cookies和代理设置的文章。

检测cookeis并登陆

重定向问题：302

登陆后继续爬取大概20～30页左右，爬虫会返回一个状态码为302的response，这是微信搜狗的反爬手段之一。当服务器检测某个ip的请求速度过快时，就会向ip返回302重定向，此时scrapy中的response内容为Not Found。但是如果使用浏览器访问的，浏览器会跳往一个新地址:https://weixin.sogou.com/antispider/?from=%2fweixin%3Fquery%3d%E5%90%89%E4%BB%96%26_sug_type_%3d%26s_from%3dinput%26_sug_%3dn%26type%3d1%26page%3d14%26ie%3dutf8

页面为验证码页面：

验证码页面

    注意到新链接是以https://weixin.sogou.com/antispider/开头的，可见微信对于爬虫还是控制得比较严。不过有趣的一点是，微信的重定向页面也分为两种情况。比如第一次返回重定向页面时，只要selenium设置了cookies值，打开的页面还是正常的page页，不会跳转到验证码页面。这个时候更新一下cookies值还是可以继续抓取20页左右。当服务器再次返回302时，再用Chrome打开就会跳转到验证码页面了。

    一般到了这一步，scrapy基本就动不了，所以需要使用selenium进行打码，打码有两种方式：第一种是人工打码，即手动输入验证码。第二种是使用打码平台的api，目前市场上的打码平台多种多样，价格也差不多。如果爬取的数据量比较小，可以使用人工打码。反之则建议打码平台。

selenium解决验证码问题：

    当第二种情况遇到验证码页面的时候，在scrapy的download 中间件的process_response方法中使用selenium.webdriver.Chrome打开重定向链接，人工输入验证码。在通过验证之后，当scrapy继续访问接下来的界面的时候，还是会返回302重定向。这是因为在微信的验证码页面验证通过后，服务器会修改原来的cookies值，如果scrapy继续使用原来的cookies依然会被判定为爬虫。所以一旦通过了验证码验证，就需要保存新的cookies值，并重新设置scrapy.Request的cookies。至此已经成功的破解了微信的验证码反爬功能。

破解验证码

后记：

    微信爬虫的抓取数据量相对于新浪微博而言相对比较小，所以可以使用人工打码。一般100页的数据抓取，最多验证3次。但是如果对于数据量比较大的网站，还是建议使用付费的打码平台。如果你不想付费，也可以考虑创建自己的代理池，使用切换代理ip的方法进行抓取。

    实际上，如果你的ip质量可靠，使用代理切换的方式抓取速度会比打码的快，因为省去了很多的selenium驱动操作。而且代码写起来相对简单些。

    最后因为第一次写博文，忘记使用markdown了，所以放上去的图片copy不了代码。晚点我把github链接放上来。感兴趣的可以look一下。

    有问题欢迎留言或者Email

    github链接：微信搜狗爬虫

皮一下很开心