从零开始做第一个scrapy 框架爬虫

• 首先确保自己的电脑已经安装好scrapy，如果还没有安装好请自行百度一下，很简单。

1.项目创建

• 创建项目 ：scrapy startproject Demo

  创建项目结果 .png

• 创建 spider,首先进入Demo文件夹

• scrapy genspider demo ‘www.itcast.cn’

  创建 spider.png

• 项目创建完成后的结构目录是这样的

  项目文件结构.png

2.编写scrapy 爬虫项目

2.1 编写items.py

• 这里是我们想要采集的数据字段

import scrapy

class DemoItem(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    grade = scrapy.Field()
    info = scrapy.Field()
    img = scrapy.Field()

2.2 spiders下的 demo.py 文件

• 这里是我们写爬虫的主要实现逻辑

# -*- coding: utf-8 -*-
import scrapy

import re
from Demo.items import DemoItem

class ItcastSpider(scrapy.Spider):
    name = 'demo'
    #允许域,可以是多个
    allowed_domains = ['http://www.itcast.cn']
    
    #scrapy 开始发起请求的地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    def parse(self, response):

        html = response.text
        reg =r'<img data-original="(.*?)">.*?<div class="li_txt">.*?<h3>(.*?)</h3>.*?<h4>(.*?)</h4>.*?<p>(.*?)</p>'
        infos = re.findall(reg,html,re.S)

        for img,name,grade,talk in infos:
            item = DemoItem()
            item['name'] = name
            item['grade'] = grade
            item['info'] = talk
            item['img'] = self.allowed_domains[0] + img
            #这里是用的yield 而不是return
            yield item

2.3 编写pipelines.py文件

• 这里是管道文件，就是我们采集到的数据通过yield信号，传递到这里，进行后续操作，比如存入数据库，写文件…

import json

class DemoPipeline(object):
    #初始化的操作，这里我们做本地化直接写成文件，所以初始化文件对象
    def __init__(self):
        print('实例化DemoPipeline')
        self.f = open('itcast_pipeline.json','w',encoding='utf-8')

    def process_item(self, item, spider):
        content = json.dumps(dict(item))
        self.f.write(content)
        print(content)
        return item
    #结束后做的操作，在这里我们要关闭文件
    def close_spider(self,spider):
        print('结束')
        self.f.close()

2.4 打开settings.py 文件更改配置

• 启用管道文件

  settings.py 文件配置.png

3.运行项目

• 到这里，恭喜你已经写完了第一个scrapy 分布式爬虫的项目，是不是so easy !

• scrapy crawl demo 执行程序
  这里的demo 是 下图中的

  image.png

结束

• 总结一下scrapy 项目没什么，记住四步走
  第一步：编写items.py
  第二步：编写spiders下的 demo.py 文件
  第三步：编写pipelines.py文件
  第四步：打开settings.py 文件更改配置