安装scrapy包

2023年1月30日 273次阅读 来源: intron

安装scrapy包时遇到了很多麻烦，综合网上很多文章，最后总结了一个比较通用的方法。
环境：

  • windows7
  • python2.7.13 x64 新安装的python没有其他第三方包

直接使用命令安装。

 pip install scrapy

安装过程中会提示依赖包 lxml 编译错误，去 这里下载对应的编译好的whl包到本地，安装lxml后，在安装scrapy，之后如果遇到其他依赖编译错误，重复上面操作。

pip install lxml‑3.7.2‑cp27‑cp27m‑win_amd64.whl
pipinstall scrapy

安装完毕执行命令检测是否成功。

scrapy --version

显示错误信息，没有win32api，去上面的网站下载whl包，使用pip安装出错，于是去这里下载独立的exe安装包，注意版本要兼容python版本的。
安装完pywin32后在检测是否安装成功。

$ scrapy --version
Scrapy 1.3.1 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

总结是 http://www.lfd.uci.edu/~gohlke/pythonlibs/ 这个网站真好用，早点知道的话，以前装python的包就不会饶那么多弯路了。

    原文作者：intron
    原文地址: https://www.jianshu.com/p/ae9a34e264fa
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞