win10 python3.5搭建scrapy环境

本机win10-64 + python3.5

在windows下,需要安装vs2015

python2.7用的是msvs2008编译的,所以需要安装msvs2008
python3.4用的是msvs2010编译的,所以需要安装msvs2010
python3.5用的是msvs2015编译的,所以需要安装msvs2015
所以我们在windows使用python3.5,安装一些包的时候需要有vs2015的支持
itellyou.cn去下载
当然,你可以跳过这一步,遇到问题再来试试

接下来要安装各种包了,请先用virtualenv建立一个scrapy_venv的虚拟环境,并激活。

安装pywin32

如果是win下,需要安装pywin32(twisted在win系统中的依赖文件)
pip install pypiwin32
或者
在下面的连接中下载最新版的pywin32
http://sourceforge.net/projects/pywin32/files/pywin32/

安装lxml

方法1:由于windows上,lxml需要依赖的一些库不完整,所以不能直接pip install lxml,假如直接在线获取安装,会提示如下错误,查了一下这个error: Unable to find vcvarsall.bat错误是没有安装vc编程环境(win下安装需要vc支持环境),需要安装vs2015,几G呀!!python3.5是vs2015编译的,所以也需要vs2015支持

《win10 python3.5搭建scrapy环境》 Paste_Image.png

方法2:手动安装需要我们在http://lxml.de/installation.html 下载,在页面找到对应系统的下载链接,点击后跳转到下载列表(http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml)

《win10 python3.5搭建scrapy环境》 Paste_Image.png

我这里下载的是lxml-3.6.4-cp35-cp35m-win_amd64.whl,下载后,用命令进入所在目录,然后执行pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl,手动安装。

如果pip版本过旧则会提示这样,用命令升级一下pip版本即可

《win10 python3.5搭建scrapy环境》 pip版本过旧

成功安装后 提示如下

《win10 python3.5搭建scrapy环境》 Paste_Image.png

这样就安装成功了。

安装OpenSSL与pyOpenSSL模块

a.安装openssl
OpenSSL一般在其他系统也是有预安装的,除了Windows
http://slproweb.com/products/Win32OpenSSL.html
Win64 OpenSSL v1.0.2g,不要light版本
OPENSSL需要VC2008库支持,如果没有则下载!
添加C:\OpenSSL-Win64\bin 进系统变量

b.安装pyOpenSSL,打命令的时候记住大小写
首先需要vc2008的库支持,
百度搜索VCForPython27.msi
或者微软官网http://aka.ms/vcpython27
或者pip install pyOpenSSL,自动安装,提示successfully表示安装成功

《win10 python3.5搭建scrapy环境》 Paste_Image.png

安装完成后,进入python,import OpenSSL没错误则成功,注意大小写

安装twisted

在其官网的下载页面中可以看到其还依赖 Zope.Interface ,PyWin32, PyOpenSSL 这三个,最后2个包我们前面已经安装过了:
a.安装zope.interface,直接pip install zope.interface

《win10 python3.5搭建scrapy环境》 Paste_Image.png

b.安装twisted
pip install twisted,发现错误,依然是error: Unable to find vcvarsall.bat,而且我已经安装了2013的情况,于是,自己还是把vs2015安装上了(VS2013和VS2015可以共存),然后再用pip install twisted,就提示successfully表示安装成功

安装vs2015,安装完成后就可以直接pip install twisted了

《win10 python3.5搭建scrapy环境》 Paste_Image.png

下图第一次提示错误,第二次安装vs2015后就成功了。

《win10 python3.5搭建scrapy环境》 Paste_Image.png

安装scrapy

pip install scrapy
安装完成后进入python,import scrapy测试一下

《win10 python3.5搭建scrapy环境》 Paste_Image.png

环境配置到此完成了

    原文作者:coreki
    原文地址: https://www.jianshu.com/p/f05c25ba54eb
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞