写爬虫首选Python,Python爬虫框架首选Scrapy。
— 沃滋基 索德
Scrapy官网 在醒目的地方告诉我们,只需要一条命令即可安装Scrapy:
pip install scrapy
也许大部分人一下子就安装完成并且成功启动了,而我遇到了坑。
首先是
build/temp.linux-x86_64-2.7/_openssl.c:429:30: fatal error:
openssl/opensslv.h: 没有那个文件或目录
compilation terminated.
error: command ‘x86_64-linux-gnu-gcc‘ failed with exit status 1
是因为有依赖没有解决,使用
sudo apt-get install libssl-dev
即可补全依赖
然后是找不到scrapy命令,根据 ubuntu-cant-find-scrapy 提供的方法解决,即先找到scrapy的命令位置,再添加到path中。作为参考,我的是在~/.local/bin
中找到的,添加即可
export PATH=$PATH:~/.local/bin
参考: