ubuntu 16.04 安装 Scrapy

写爬虫首选Python,Python爬虫框架首选Scrapy。
— 沃滋基 索德

Scrapy官网 在醒目的地方告诉我们,只需要一条命令即可安装Scrapy:
pip install scrapy

也许大部分人一下子就安装完成并且成功启动了,而我遇到了坑。

首先是

build/temp.linux-x86_64-2.7/_openssl.c:429:30: fatal error: 
openssl/opensslv.h: 没有那个文件或目录
compilation terminated.
error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1

是因为有依赖没有解决,使用
sudo apt-get install libssl-dev
即可补全依赖

然后是找不到scrapy命令,根据 ubuntu-cant-find-scrapy 提供的方法解决,即先找到scrapy的命令位置,再添加到path中。作为参考,我的是在~/.local/bin中找到的,添加即可
export PATH=$PATH:~/.local/bin

参考:

  1. python2 安装scrapy问题解决方法

  2. ubuntu-cant-find-scrapy

  3. scrapy 部分中文文档

    原文作者:Leoshi
    原文地址: https://www.jianshu.com/p/302416d0a85e
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞