Scrapy入门

最近稍微学习了下爬虫框架,以前都是裸写Requests和Beautifulsoup来从网页中获取我想要的数据,为了后面高效的爬虫,觉得还是应该认真学习一个爬虫框架,在Scrapy和Pysipder之间进行比较,最终还是选择了Scrapy,其基于异步框架twisted,先从用法入手,学习的过程中应该也会稍微接触点源码。本博客会记录下博主学习Scrapy的过程。

相关资料

  1. 官网
  2. 官方Doc
  3. Github

环境搭建

Python版本:Python 3.6.5
安装方法:在类Linux/Unix下使用pip install scrapy安装

我是在Docker中进行开发的,也推荐大家使用Docker,真的方便很多(如何安装和搭建Docker,可以在网上搜索到很多资料)。下面是我的Dockerfile文件。

From python:3
WORKDIR /usr/src/app
RUN apt-get update \
        && apt-get -y  install vim \
        && apt-get -y  install iputils-ping \
        && pip install --no-cache-dir --upgrade pip \
        && pip install scrapy \
        && apt-get -y  remove --purge vim \
        && apt-get -y  remove --purge iputils-ping
  1. docker build -t python:scrapy .,生成一个安装scrapy镜像;
  2. docker run -it python:scrapy bash,进入docker环境。

这样的我们的环境就搭建好了。

Scrapy命令

Scrapy安装后会提供一个系统命令,如下:

root@e579691b5c9f:~/newproject# scrapy -h
Scrapy 1.5.0 - project: newproject

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

简要讲一下会经常用到的命令:

1. 创建新项目

scrapy startproject projectname
该命令会在当前目录下创建一个新目录,并自动在目录下创建需要的文件,用tree命令来看下目录结构。

root@e579691b5c9f:~# tree newproject/
newproject/
├── newproject
│   ├── __init__.py
│   ├── __pycache__
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg

简单介绍下各个文件/目录的作用:

  1. scrapy.cfg:该文件所在的目录是项目的根目录,里面包含了项目部署的相关信息;
  2. items.py:定义了爬虫要爬去的字段;
  3. middlewares.py:定义相关的中间件,后面会知道如何编写中间件;
  4. settings.py:项目的配置文件
  5. pipelines.py:管道文件,抓取后的item会被送到pipeline,你可以对数据清洗、数据持久化保存等,这是爬去的内容最后会被送到的地方。
  6. spiders目录:定义爬虫逻辑的地方,自己编写的spider都放在这个文件下面。
2. 创建一个新spider

scrapy genspider spider_name domain
该命令会在项目下面按照模板创建一个新的spider,当然,可以使用-t template_name来指定使用的模板文件,scrapy提供了几种模板文件,具体可以使用命令scrapy genspider -l查看,默认使用basic模板文件。

3. 查看可用的spider

scrapy list
该命令会显示项目中可用的spider,同时也会进行语法检查。

4. 进入scrapy shell交互模式

scray shell [url]
该命令会进入scrapy shell模式,如果传了url,会自动从抓取url,并生成response对象,在这个模式下,可以进行简单的调试,用来看爬取规则是否生效。具体可见文档

5. 执行爬虫

scrapy crawl spider_name
该命令会用来执行爬虫,默认会在stdout打印出爬虫log,可以带命令--nolog来去小打印爬虫。还可以指定-o file_name来讲爬取的内容输出到文件,scrapy支持json/csv/xml等格式的文件。

本篇只介绍一些常用的命令,剩余的命令可以通过scraoy command -h来查看具体的用法。

    原文作者:喵帕斯0_0
    原文地址: https://www.jianshu.com/p/33f531cef8c0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞