Scrapy爬虫框架：安装和开始新项目

2023年8月24日 229次阅读 来源: Carltony

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，只需要定制开发几个模块就可以轻松的实现一个爬虫。

安装

Scrapy官网和官方安装文档。
直接使用PIP安装
pip install Scrapy

注意:

Scrapy依赖这些python包:

  • lxml
  • parsel
  • w3lib
  • twisted
  • cryptography and pyOpenSSL

对于Scrapy最小的包版本:

  • Twisted 14.0
  • lxml 3.4
  • pyOpenSSL 0.14

Scrapy新项目

使用命令创建一个Scrapy新项目：
scrapy startproject 项目名称
例如创建一个名叫TaoBao的项目：scrapy startproject TaoBao

项目结构

TaoBao/
    scrapy.cfg            # Scrapy项目配置文件
    TaoBao/             # Python 项目module
        __init__.py
        items.py          # 项目的Item定义位置
        pipelines.py      # 项目的Pipeline文件
        settings.py       #项目的设置文件
        spiders/          # 蜘蛛目录
            __init__.py

编写一个蜘蛛

我们以爬取淘宝和天猫数据为例，我们通过淘宝的搜索结果然后爬取搜索出来的内容。在spiders目录下面新建一个名叫TmallAndTaoBaoSpider的蜘蛛：

class TmallAndTaoBaoSpider(Spider):
    name = "tts"
    allowed_domains = ['tmall.com', 'taobao.com']
    start_urls = []
    def parse(self, response):
        pass

这里需要解释一下，每一个蜘蛛都要继承Spider，这是Scrapy提供的基础蜘蛛，Spider中有3个变量必须定义：

  • name – 蜘蛛的名字，等会儿通过命令行启动蜘蛛的时候用到
  • allowed_domains – 限定蜘蛛爬取的域，以免去爬一些我们不关心的网站内容，上面只爬淘宝和天猫的。是一个数组
  • start_urls – 从哪儿开始爬。是一个数 组
  • def parse(self, response): – 这里就是蜘蛛通过下载器下载好的内容回调，通过这个方法可以取到网页内容。

这样一个简单的蜘蛛就完成了，可以通过命令:
scrapy crawl tts 来启动。当然上面的代码还什么都抓不到，因为start_urls没有填写，parse也还没有实现。

总结

简单的实现了一个蜘蛛，这个蜘蛛现在只能抓取静态网页，如果网站包含了动态内容，或者很多ajax请求，那么这样是抓不到完整数据的，下面会通过selenium来抓取动态网页，淘宝和天猫都是动态的。

下一篇：Scrapy爬虫框架：Selenium + PhantomJS

😊查看更多😊

不登高山，不知天之高也；不临深溪，不知地之厚也
感谢指点、交流、喜欢

    原文作者：Carltony
    原文地址: https://www.jianshu.com/p/f5aa9f604351
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞