[工具&笔记]scrapy相关和docker部分

示例:architecture_spider

Scrapy 相关

参考scrapy文档scrapyd文档

scrapy的架构非常清晰。

《[工具&笔记]scrapy相关和docker部分》 scrapy的架构

一般一个非常简单的爬虫,只需要创建一个Spider,定义一个Item,加上部分setting即可。如果对结果存储有要求,那就加一个ItemPipe。

scrapy命令分在项目内和项目外两部分,如何区分是否在项目内,只需要在命令行看输出即可知道。

对于示例,在项目内,运行:
scrapy genspider idchina http://www.id-china.com.cn/
即可按照默认的模板创建对应的目录和文件,当然也可以全部手动创建。

基本的话,scrapy抓取html并分析。那么如何分析抓取的部分呢?
推荐使用Xpath。Chrome浏览器有插件叫做Xpath Finder,可以用来定位。我一般是用它来一步步验证所猜测的xpath表达式是否正确。
但也可以使用scrapy命令来猜测:
scrapy shell 'http://mixinfo.id-china.com.cn/a-17920-1.html'
使用该命令来分析对应的网页。

写完了,跑一下:
scrapy crawl idchina
terminal中就会有爬虫的执行信息。
当然这是最简单的执行,正式一点或生产环境,就需要使用deploy工具。官方推荐使用scrapydscrapyd-deploy,后者未来应该会改名为scrapyd-client,如名所示,它们是一对Client-Server。
使用它们,需要在scrapy.cfg中配置,启动成功后,默认可通过localhost:6800来访问。
如果想要开始爬虫工作,发送命令:
curl http://localhost:6800/schedule.json -d project=architecture_spider -d spider=idchina

这些环境配置,除了在本地配置外,还可以使用docker,更方便,更省时间,更易于移到其他环境使用。

docker 相关

参考Docker 入门教程Docker 微服务教程Docker — 从入门到实践

其实我大部分也是照猫画虎。

一个体会:先找下有没有现成的image可用,越接近项目所需的环境应该越好,毕竟我配置水平不怎么样。刚开始我是用一个python的image配的,结果服务全部启动成功,但是端口映射一直不知道为什么总是不行,明明容器内部是可访问的,但是宿主机上就是不可访问该端口。最后放弃治疗,直接找了一个scrapy的image来用。
另外,用别人的image的时候可以顺便看看学学别人的Dockerfile是怎么写的。

如果只是想用一些现成的服务,那么找到对应的image,然后docker pulldocker run即可。
如果想要把自己的服务也打包成一个image,那么就需要写一个Dockerfile,然后docker build
如果想搞集成,那么就需要使用docker-compose,那么就需要写一个docker-compose.yaml,然后docker-compose up -d
另外docker imagesdocker psdocker rm -fdocker rmi也是常用的。

在示例的docker-compose.yaml中,我把volumes注释掉了,原因是如果加上,那么启动的时候会报错:scrapyd对应的日志目录不存在(Error: The directory named as part of the path /architecture_spider/logs/scrapyd.log does not exist in section 'program:scrapyd' (file: '/etc/supervisor/conf.d/supervisord.conf'))。
其实在Dockerfile中已经创建了,但是我猜测在docker-compose.yaml添加volumes会把对应的log目录消除掉,因为我的.dockerignore文件中包括了logs/。按照我的推理,只需要把这个日志目录移除出volumes所指向的目录之外即可。

docker很好用,非常节省生命,还需要好好学习,第三个参考可以反复看看。

    原文作者:顾慎为
    原文地址: https://www.jianshu.com/p/6d6ee83700ab
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞