Scrapy第四篇：APP抓取 | 存储入MongoDB

</br>
咳咳，大家别误会哈，标题并不想搞什么大新闻，恰巧是“今日头条”爬虫而已。。。

以前抓的都是网页端的数据，今天，我们来抓一抓手机App中的数据
道理其实非常简单，抓包调用Api，只不过依靠一个神器 — fiddler
</br>
我们要抓的是这个（其实也很巧，周五上课的时候偶尔刷刷看到的，评论2万多很惊讶） 但是查看后才发现，只显示两页数据，抓包结果也是如此，于是尝试App

</br>

基本配置：

Python: 2.7.13
Pycharm: pycharm-community-2016.3.2.exe
手机：Andriod系统
电脑：win8系统
</br>
</br>

一、首先用fiddler抓包

1、搜索fiddler并下载安装
2、一些设置
有点长就不啰嗦了，大家可以参考以下博文：
抓包工具Fidder详解(主要来抓取Android中app的请求)
Fiddler工具使用-抓取https请求

几个要点：
基本设置及https请求，获取本机ip地址用ipconfig命令，特别注意手机抓包需要勾选上 Allow remote computers to connect，安装证书，注意wifi连接是为了保证手机电脑连相同的网，手动设置代理服务器
还有一些地方可能根据手机型号不一样，设置不一的，大家自己灵活变通一下咯~
</br>
3、fiddler抓今日头条
其实平时不玩头条，所以先下载安装一个App，登录后并定位到该条新闻

定位到评论，下拉并抓包

然后就是下面这样

URL粘贴到浏览器，果然如此

由fiddler的response body部分，可以清晰地看到json数据的结构

</br>
通过抓包获取的URL是这样的：

http://lf.snssdk.com/article/v2/tab_comments/? group_id=6389542758708675073&item_id=6389542758708675073&aggr_type=1&count=20&offset=0&tab_index=0&iid=9659309930&device_id=25691803112&ac=wifi&channel=vivo&aid=13&app_name=news_article&version_code=609&version_name=6.0.9&device_platform=android&ab_version=116029%2C112577%2C120222%2C101786%2C120542%2C119380%2C110341%2C113607%2C119525%2C106784%2C113608%2C120243%2C119889%2C105610%2C120212%2C120459%2C104323%2C120641%2C112578%2C115571%2C120419%2C31646%2C121005%2C118216%2C114338&ab_client=a1%2Cc4%2Ce1%2Cf2%2Cg2%2Cf7&ab_group=100170&ab_feature=94563%2C102749&abflag=3&ssmix=a&device_type=vivo+V3Max+A&device_brand=vivo&language=zh&os_api=22&os_version=5.1.1&uuid=862545038604758&openudid=f96595e789672db8&manifest_version_code=609&resolution=1080*1920&dpi=480&update_version_code=6091&_rticket=1492784667138

</br>

老长了呢，不过这个http://lf.snssdk.com确实和网页端不一样。tab_comments即评论，group_id和item_id为每一条新闻特殊地址代号。count容易理解，一页json数据包含20项评论。offset即为开始，后面就是一些乱七八糟的手机型号之类。

由上还可精简，去掉一些不必要的字段，最后变成这样：

url='http://lf.snssdk.com/article/v2/tab_comments/?group_id=6389542758708675073&offset='+str(i)

</br>
为了方便计数，开头设置一个全局变量Num
spiders部分这里就不贴代码了，单层次页面抓取，easy，你懂哒~

class Myspider(scrapy.Spider):
    name='TouTiao'
    allowed_domains=['snssdk.com'] 
    Num=1

</br>
settings部分模拟手机抓的包，模拟请求，就像模拟浏览器一样

# -*- coding: utf-8 -*-
BOT_NAME = 'TouTiao'
SPIDER_MODULES = ['TouTiao.spiders']
NEWSPIDER_MODULE = 'TouTiao.spiders'

ROBOTSTXT_OBEY = False
CONCURRENT_REQUESTS = 16
DOWNLOAD_DELAY = 2
COOKIES_ENABLED = False

#headers填抓包的信息，特别是User_agent这一块
DEFAULT_REQUEST_HEADERS = {
'Accept-Encoding':'gzip',
'Connection':'keep-alive',
'User_agent':'Dalvik/2.1.0 (Linux; U; Android 5.1.1; vivo V3Max A Build/LMY47V)'}

ITEM_PIPELINES = {'TouTiao.pipelines.ToutiaoPipeline': 300}

</br>
</br>

二、存储

1）首先存入Excel
既然我们上面已经设置了全局变量Num，在items里面添加一个item[‘Num’]，简直完美(^_)！

# -*- coding: utf-8 -*-
import xlwt

class ToutiaoPipeline(object):
    def __init__(self):
        self.book=xlwt.Workbook()
        self.sheet=self.book.add_sheet('sheet', cell_overwrite_ok=True)
        head=[u'名字', u'点赞', u'回复', u'评论']
        i=0
        for h in head:
            self.sheet.write(0, i, h)
            i += 1

    def process_item(self,item,spider):
        self.sheet.write(item['Num'],0,item['name'])
        self.sheet.write(item['Num'],1,item['like'])
        self.sheet.write(item['Num'],2,item['reply'])
        self.sheet.write(item['Num'],3,item['text'])
        self.book.save('TouTiao.xls')

</br>
结果就是这样：

说好的2.6万的评论呢，为什么只有1000多？
把App评论翻了个底儿朝天，仔细比对了下，没有错。把回复数量加上来也不对。
聪明的盆友可以告诉我一下为什么么。。。

</br>

</br>

2）
存入Mongodb

存入excel确实简单，但数据量很大时打开会很卡，而且不是每次数据都这么规整呢。

也该学点新东西了，听说MongoDB这种
非关系型数据库很不错，于是入坑。

首先官网下载（自己动手，丰衣足食~）
MongoDB基本语法可参考：
爬虫入门到精通-mongodb的基本使用
MongoDB安装配置可参考：
图解Windows下MongoDB的安装过程及基本配置_百度经验

踩过坑的人才知道，以上真的是最好的参考，没有之一
（我在这里辗转了加起来都快1天，说多了都是泪啊。。。）

</br>

安装配置过程几个坑，记录补充下：

输入如下命令，启动MongoDB

启动成功的几个标志：

1、看到 waiting for connections….

2、运行mongo.exe出现下面这样（而不是闪退）

3、在浏览器地址栏里输入http://127.0.0.1:27017/,出现这样

</br>

最后配置windows出错

</br>

困扰了好一会儿，查到一个帖子：
Mongodb安装后在cmd下无法启动，提示：服务名无效

改了一下，以
管理员权限打开cmd(不懂的盆友自己百度吧~)

哎，感动，要哭，
这一路bug太多了。。。

然后最后一步有些不一样，可能因为我是win8系统（教程是win10）

不需要新建，直接在Path的变量值那一栏，前面加上D:\MongoDB\bin 即可

</br>
然后pipelines部分代码就是这样：
# –– coding: utf-8 ––
#导入settings中各种参数
from scrapy.conf import settings
import pymongo

#不要忘记在settings中修改一下ITEM_PIPELINES
class MongoPipeline(object):
    def __init__(self):
        #pymongo.MongoClient连接到数据库
        connection=pymongo.MongoClient(settings['MONGODB_HOST'],settings['MONGODB_PORT'])
        # 创建数据库'db1'
        db=connection[settings['MONGODB_NAME']]
        # 连接到数据集'toutiao'，类型为dict
        self.post=db[settings['MONGODB_DOCNAME']]

    def process_item(self,item,spider):
        #插入数据到数据库
        #update方法实现有效去重
        self.post.update({'text':item['text']},{'$set':dict(item)},upsert=True)
        print u'插入成功!'
        return item  

</br>
结果就是这样：

这里借助了
robomongo，一款MongoDB可视化软件，使用方法非常简单，大家也可以试试。由于抓取的时间不相同，存入excel和MongoDB，数据有些差异。

</br>
</br>

三、总结：

总结下本节我们都干了什么：
1、各种安装配置问题和基础知识：fiddler、MongoDB
2、Scrapy手机App数据抓取——fiddler抓包
3、存储：存入Excel，存入MongoDB

忘了说了，整个文件结构就是下面这样。
以存入MongoDB为主。存入excel的分别设置settings1、pipelines1，并置于与entrypoint同一目录（方便替换，不影响运行嘿嘿~）

本来还想数据分析一块讲的，发现太多了，留到下次啦~

</br>

完整版代码：
github地址

本篇就是这样了~