CentOS7下的Scrapy环境搭建

Scrapy是一个Python下的爬虫框架,以前装过好几次,都很折腾,有一堆的依赖,还有centos6下python版本的问题,比较头痛。

前几天又在centos 7上折腾了一次,记录一下。

Scrapy官网上对于安装其实说得很清楚了,就那么几个步骤,但我几次安装都没这么顺利……

下面是2个方案,对于国外的网络环境,个人建议使用方案一,更简单一些。而对于国内的网络环境,还是方案二吧,国内连conda确实太慢了。

方案一:Miniconda

Scrapy官网上,推荐使用 Miniconda 来装,事实证明这个是最省事的方案。

首先去miniconda的官网下载需要的.sh文件(http://conda.pydata.org/miniconda.html),然后一步步安装即可。

需要注意的是,这个.sh文件有点大,大概27mb,直接服务器上下载可能会很慢。

然后,安装的话,也许会报错,我这边是缺 bzip2,可以先 yum 安装一下。

yum install -y bzip2

接下来,把Miniconda装好,就可以直接装Scrapy了。

conda install -c scrapinghub scrapy

方案一基本上不会出什么问题,除了国内网络环境使用 conda 的库很慢外。

方案二:pip

centos7自带的python是2.7,所以可以省掉安装python2.7的步骤了。

首先,需要安装yum的epel库。

yum install -y epel-release

然后,先安装一组依赖吧,有些可能不需要,我按自己缺的装了一遍。

yum install -y libffi-devel gcc clang python-devel openssl-devel libxslt-devel libxml2-devel

再来安装pip吧。

yum install -y python-pip

然后,centos7下,pip的版本不够新,所以,还需要升级一下pip。

pip install pip --upgrade

最后,安装scrapy吧。

pip install scrapy

顺利的话,应该就能正常装好了。

如果还有错,应该也是缺什么依赖,看看错误输出,google一下,装上应该就好了。

    原文作者:xfan007
    原文地址: https://www.jianshu.com/p/fa6a9a11a0a5
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞