案例：爬取58同城

爬取58同城步骤如下：

• 在命令行输入 scrapy startproject city58，使用cd city58进入项目目录，使用scrapy genspider city58_test 58.com生成爬虫

• 访问58同城网站，打开开发者工具，查看elements

• 查找含有目标信息的元素，提取目标网页的url，填入新建的Scrapy项目中Spider文件下的start_url中，并编写Spider

• 编写Items（用于定义需要爬取的字段）和PIpeLine（处理Item）两个文件，以及修改setting文件（启动管道），创建main文件

运行main文件，启动Scrapy爬虫
文件结构如下图：

代码如下：

items.py：定义我们所要爬取的信息的相关属性，此例中需要爬取的是name、price、url

import scrapy

class City58Item(scrapy.Item):
    # define the fields for your item here like:
    name = scrapy.Field()
    price = scrapy.Field()
    url = scrapy.Field() 

city58_test.py：主要是用于定义请求链接，并使用pyquery选取目标元素

import scrapy
from pyquery import PyQuery
from ..items import City58Item
#点点一个是当前目录一个是上级目录

class City58TestSpider(scrapy.Spider):
    name = 'city58_test'  #必不可少的爬虫名字，启动的关键
    allowed_domains = ['58.com'] #主域名
    start_urls = ['http://bj.58.com/chuzu/']   #开始爬取的链接

    def parse(self, response):
        jpy = PyQuery(response.text)#生成选择器对象
        li_list = jpy('body > div.mainbox > div.main > div.content > div.listBox > ul > li').items() #记得带上.items()参数
        for it in li_list:
            a_tag = it(' div.des > h2 > a')
            item = City58Item()
            item['name'] = a_tag.text()   #a_tag取出文本
            item['url'] = a_tag.attr('href')  #取出href参数
            item['price'] = it('div.listliright > div.money > b').text()
            yield item   #把Item返回给引擎
            
            ##路径选择，可以直接右键元素-copy-copy select即可快速修改包装路径

pipeline.py：当item数据被city58_test爬虫爬取好并返回给引擎以后，引擎会把item交给City58Pipeline这个管道处理。这个pipeline文件负责打开关闭文件，并写入文件

import json

class City58Pipeline(object): #这个名字要和setting文件中的后半部分相同
    #打开文件
    def open_spider(self,spider):
        self.file = open('58_chuzu.txt', 'w' , encoding='utf8') #创建文件名，w写入的方式
        print('打开文件了')
    #写入文件
    def process_item(self, item, spider):
        line = '{}\n'.format(json.dumps(dict(item)))  #把item转换成字符串，并且换行写入不然是一坨了，并且注意是dict不是dic别写错
        #注意此处的写法，不然最后生成的文件出错
        self.file.write(line)
        return item #必须返回item
    #关闭文件
    def close_spider(self, spider):
        self.file.close()
        print('关闭文件了')
###### settings.py：开启Ci

###以上问题总结：如何写入文件：
如何把一个个对象写入文件。涉及到序列化，即把对象变成一个文本。如何把dictionary写入到文本中呢？经典方案是import jaon，把它变成一个json的字符串，然后存起来就ok了。
即：序列号函数json.dumps(),item其实就是一个dictionaty，但是离真正还是差一点。
于是json.dumps(dic（item)让其变成真正的dic，并把其放入line变量中，即line=json.dumps(dic（item)。
--------------------------------------------------------------------------------
这其中有个问题，容易写成一坨，就是你不断地这么写只是在尾部追加，没有换行符，
这时候我们要添加一个换行的机制，并把其format粘贴进来

ty58Pipeline这个管道，激活管道，setting文件

#取消注释即可
ITEM_PIPELINES = { 
‘city58.pipelines.City58Pipeline’: 300, 
}

main.py：运行爬虫，创建main.py文件

并且把执行命令写进去，其中有个是文件名，然后debug运行即可。

from scrapy import cmdline
cmdline.execute("scrapy crawl city58_test".split())

若存在mongodb中 需要更改setting 文件和pipeline文件，其他文件保持不变，如下所示：

setting.py

ITEM_PIPELINES = {
   'city_58.pipelines.City58Pipeline': 300,
}

MONGO_HOST = '127.0.0.1'  # 主机IP
MONGO_PORT = 27017 #端口名
MONGO_DB = '58' #数据库名
MONGO_COLL= 'hezu' #表名

pipline.py

import json
import pymongo
from scrapy.conf import settings

class City58Pipeline(object): #这个名字要和setting文件中的后半部分相同

    def __init__(self):
        #链接数据库
        self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        # 数据库登录需要帐号密码的话
        # self.client.admin.authenticate(settings['MINGO_USER'], settings['MONGO_PSW'])
        self.db = self.client[settings['MONGO_DB']]  # 获得数据库的句柄
        self.coll = self.db[settings['MONGO_COLL']]  # 获得collection的句柄


    def process_item(self, item, spider):
        line = dict(item) #注意此处的写法
        self.coll.insert(line)  # 向数据库插入一条记录
        return item

课后作业

试试看，通过自己查资料，能否搞明白以下代码的作用：

import scrapy
import hashlib
from urllib.parse import quote

class ScreenshotPipeline(object):
    """Pipeline that uses Splash to render screenshot of
    every Scrapy item."""

    SPLASH_URL = "http://localhost:8050/render.png?url={}"

    def process_item(self, item, spider):
        encoded_item_url = quote(item["url"])
        screenshot_url = self.SPLASH_URL.format(encoded_item_url)
        request = scrapy.Request(screenshot_url)
        dfd = spider.crawler.engine.download(request, spider)
        dfd.addBoth(self.return_item, item)
        return dfd

    def return_item(self, response, item):
        if response.status != 200:
            # Error happened, return item.
            return item

        # Save screenshot to file, filename will be hash of url.
        url = item["url"]
        url_hash = hashlib.md5(url.encode("utf8")).hexdigest()
        filename = "{}.png".format(url_hash)
        with open(filename, "wb") as f:
            f.write(response.body)

        # Store filename in item.
        item["screenshot_filename"] = filename
        return item

补充资料

有能力的同学可以去GitHub浏览Scrapy的源码，更深入地理解Scrapy的使用和操作方法
有兴趣的同学可以尝试去爬取京东的商品，这里有一个京东爬虫开源的项目，大家可以参考一下