一.前述

因为最近在学习scrapy框架，而且框架涉及到的内容也比较多，所以就想着写一篇文章来巩固一下scrapy框架的知识。 那么问题来了，我应该爬什么东西呢？不巧想到了我同学在简书写了好多的文章(此处@不不不不不不热我的大佬同学)，而且人的文章多数都是散文，像我这种理科男并且作文永远写不好的人，正好可以借鉴她的文章来做实例，间接性的引用人家的散文。

二.工具

• scrapy (安装scrapy同时需要安装以下工具，可能Twisted用pip会安装不上去，https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，这个网页里面会有twisted的下载地址)
  scrapy安装
• jieba分词（把中文按词组的形式切割开，很好用的）
• wordcloud（云图，生成一张词图）

三.详细解析代码

创建scrapy我们只需要在cmd中，scrapy startproject 文件名，这样就可以创建出以下文件了
此图来源网络

然后我们来具体了解以下各个文件的主要用途:

• init.py 这个应该比较熟悉吧，项目的初始化文件。
• items.py 定义我们爬取内容的相关属性
• middlewares.py 中间件，用来处理爬虫的输入和请求输出（可以用来设置代理ip，还有response返回的值）
• pipelines.py 这是一个独立的类，它接收到item的信息，并且做一些处理（像保存数据库，去重什么的）
• setting.py 可以设置pipline或Spider的一系列组件

scrapy的结构图.png

我们还需要进入spider文件夹创建 scrapy genspider [文件名] [mydomain.com] spider文件

image.png

这个文件用来编写的可定制化的部分，负责解析response，产生items和url.(我们主要在这里写代码)
创建好之后会出现

image.png

四.观察网页

image.png

F12进入开发者工具，主要是想看一下网页时以什么形式加载的，现在大部分网页都会是动态加载的，所以我们要抓包看一下。

我现在访问的网页是:
https://www.jianshu.com/u/1964293091a3

image.png

从图片中可以看到文章真正的网址确实不是浏览器访问的网址，当我下滑的时候还会出现更多的文章地址

image.png

所以我们请求的地址大致也明了了。开始写我们的spider。

五.代码

现在我们就要在spider里面写代码了
jianshutest.py
网页请求方法

from scrapy import  Request,Spider
import json


from simpleBook.items import JianshuItem

class JianshutestSpider(Spider):
    name = 'jianshutest'
    allowed_domains = ['www.jianshu.com']
    start_urls = ['http://www.jianshu.com/']
  
    def start_requests(self):
        #cookie：你登录的用户名和密码都会包含在cookie里面，登录之后就可以查到(见下图)
        cookies={'Cookie':'remember_user_token=W1syMzQ1MzA2XSwiJDJhJDEwJE9ZMzIubnpCb0lNNTljcUg2RnU3OWUiLCIxNTA5Nzc3NDI3LjUwNDk4ODciXQ%3D%3D--af364747dd6fde4d917738c0b0840d02da5a1298; _gat=1; _ga=GA1.2.958245445.1504323082; _gid=GA1.2.291615467.1509881668; Hm_lvt_0c0e9d9b1e7d617b3e6842e85b9fb068=1508066816,1508943110,1509777295,1509881668; Hm_lpvt_0c0e9d9b1e7d617b3e6842e85b9fb068=1509886621; _m7e_session=11bbcabbcae48dd2cee207c683dcb867; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%222345306%22%2C%22%24device_id%22%3A%2215f5404a0055fc-03123bf21a3db8-e313761-2073600-15f5404a0069f0%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E8%87%AA%E7%84%B6%E6%90%9C%E7%B4%A2%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22https%3A%2F%2Fwww.baidu.com%2Flink%22%2C%22%24latest_referrer_host%22%3A%22www.baidu.com%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC%22%7D%2C%22first_id%22%3A%2215f5404a0055fc-03123bf21a3db8-e313761-2073600-15f5404a0069f0%22%7D'}
        #请求的url,注意因为网站是以json格式加载的,下滑网页会发现出现好多的XHR文件,page是不一样的，所以要遍历一下页数，我看了一下一共是17页，所以我们从1range到17
        url = 'http://www.jianshu.com/u/1964293091a3?order_by=shared_at&page={page}'
        for page in range(1,17):
            #现在不需要判断status了，直接用scrapy自带的Request方法就可以,（参数1:请求的url.参数2:做回调函数，也就是把返回的resoponse回调到第二个方法里.参数3:写入cookie）
            yield Request(url.format(page=page) , callback=self.first_parse,cookies=cookies)

cookie.png

图2.png

请求完网页后，我们要做处理了，定义第一次解析:

    def first_parse(self, response):
      #把请求头写到代码中，模拟浏览器
      headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
                   '    Accept-Encoding': 'gzip, deflate, br',
                   '    Accept-Language': 'zh-CN,zh;q=0.9',
                   '    Cache-Control': 'max-age=0',
                   '    Connection': 'keep-alive',

                   '    Host': 'www.jianshu.com',
                   '    If-None-Match': 'W/"a2bf45c7e139d5c5890a6d1ad6946052"',
                   '    Upgrade-Insecure-Requests': '1',
                   '    User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
                   }
      #因为是js的文件，所以要json.loads解析一下
      js = json.loads(response.text)
      for jsl in js.get('notes'):
          print(jsl)

打印一下，检查一下我们写的内容是否正确.

image.png

看图确实没有问题哈，我们可以看到网页中的包含的众多信息，有标题作者什么的，但是！并没有我们要的文章啊。从网页中我发现，每点击一个标题会进入到文章页面，所以我开始就觉得这里面应该会有每一篇文章对应的网址吧，可以现在看来并没有呀！于是我就点开文章页面观察了一下网址。

image.png

发现页面后面的尾数就是我们的slug呀，这样我把所有获取到slug加上前缀请求一下就可以了。

具体代码:

    def first_parse(self, response):
      headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
                   '    Accept-Encoding': 'gzip, deflate, br',
                   '    Accept-Language': 'zh-CN,zh;q=0.9',
                   '    Cache-Control': 'max-age=0',
                   '    Connection': 'keep-alive',

                   '    Host': 'www.jianshu.com',
                   '    If-None-Match': 'W/"a2bf45c7e139d5c5890a6d1ad6946052"',
                   '    Upgrade-Insecure-Requests': '1',
                   '    User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
                   }
      js = json.loads(response.text)
      #因为json文件里有key值和value值，现在所有的网页信息都在note这个key值，所以要get一下
      for jsl in js.get('notes'):
          item = JianshuItem()
          #获取slug值
          if 'slug' in jsl:
              article = jsl.get('slug')
              #拼接网页
              article_url = 'https://www.jianshu.com/p/'+ article
              for fields in item.fields:
                if fields in jsl:
                  #这里可以打印出item里所对应的值
                   # item[fields] = jsl[fields]
                    #print(item)
                     #递归请求到文章页
                    yield Request(article_url,callback=self.second_parse,headers=headers)
                else:
                    pass

    def second_parse(self,response):
        #请求到文章页，用css选择器把文章选出来，然后输出
        article_title =response.css('.note .post .article .title::text').extract_first()
        article_content = response.css('.note .post .article .show-content p::text').extract()
        item = JianshuItem()
        item['article_title'] = article_title
        item['article_content'] = article_content
        yield item

image.png

我们把这些文字写出到txt文本。需要在piplines写入这一段代码，或者用其他方法（￣□￣｜｜我当年是用xml解析出来的）

class TxtscrapyPipeline(object):
    def process_item(self, item, spider):
        # 获取当前工作目录
        base_dir = os.getcwd()
        fiename = base_dir + '/1.txt'
         # 从内存以追加的方式打开文件，并写入对应的数据
        with open(fiename, 'w') as f:
            f.write(str(item['article_content']))
            f.flush()
            return item

把符号什么的都要去掉，我们可以得到这样的一个txt文本

image.png

这样，我们就可以用jieba进行分词了，创建了jb.py（
千万不要把文件名命名为jieba.py），不然导包时候会错误。

代码如下:

import jieba
from jieba.analyse import extract_tags
from wordcloud import WordCloud,ImageColorGenerator
import matplotlib.pyplot as plt
from os import path
#读取我们的txt文件
def open_file():
    with open('article.txt','r')as f:
        file_content = f.read()
        cut_content(file_content,200)
        show_picture(file_content)
        f.close()

def cut_content(file_content,max_words):
    #取txt文本里的关键词
    tags = extract_tags(file_content, topK=max_words)
    #定义为dict集合
    word_dict = dict()
    #jieba分词
    word_list = jieba.lcut(file_content)
    #遍历tags
    for tag in tags:
        #对tag计数
        freq = word_list.count(tag)
       #生成dict
        word_dict[tag] = freq
    for a in word_dict:
      #输出
        print(str(a) +':'+str(word_dict.get(a)))

生成结果.png

虽然有许多没用的词，但同时我们也看到了她内心一直要写出的词，（希望，父母，迷茫，孤独，签约。。。）

生成云图:

def show_picture(file_content):
    g = " ".join(jieba.cut(file_content))
    back_coloring = plt.imread(path.join("1487226734725.jpg"))  # 选取背景图片
    word_cloud = WordCloud(font_path='simsun.ttc',  # 设置字体
                           mask=back_coloring,  # 设置背景图片
                           background_color="white",  # 背景颜色
                           max_words=900,  # 词云显示的最大词数
                           max_font_size=50,  # 字体最大值
                           random_state=42)
    my_wordcloud = word_cloud.generate(g)  # 生成词云图
    plt.imshow(my_wordcloud)
    plt.axis("off")
    plt.show()
    word_cloud.to_file(path.join("jianshu.png"))  # 保存图片

def main():
    open_file()

if __name__ == '__main__':
    main()

Figure_1.png

六.结尾

首先特别感谢我的同学@不不不不不不热允许我拿她的文章来做实例，写这篇文章完全会透露一点她的隐私，但她还是接受了。当然，从最后的结果我们也可以看出她确实是一个努力上进，并且还有点悲观的女孩。
这篇文章主要是自己用来学scrapy框架写出来的，写了一段时间，主要原因还是自己喜欢学这些东西，如果有喜欢的爬虫或者是其他计算机方面的爱好者也可以联系我哈~
好啦！感谢大家的阅读~