Scrapy入门环境搭建
概述
本文介绍用python3来搭建scrapy环境，实践一下最简单的scrapy用法。本文主要依照scrapy中文站教程，并结合自己学习经验，做一些补充。
环境搭建
安装Scrapy
我在mac上已经预先装好了python3环境，使用pip包管理来安装scrapy是最简便的方式:
pip3 install scrapy
安装好之后，会在系统变量中加入scrapy命令:
$ which scrapy
/Library/Frameworks/Python.framework/Versions/3.5/bin/scrapy
可见pip安装会在python3目录下导出可执行的scrapy，并且加入到系统变量中。
IDE环境
IDE我用的是pycharm，只需要在 Run→Edit Configurations中设置scrapy的脚本:
(由于scrapy默认是命令启动 scrapy crawl spiderName)
Script: /Library/Frameworks/Python.framework/Versions/3.5/bin/scrapy
Script Parameters: crawl spiderName
在pycharm中设置后每次只需要运行就可以了(当然对于固定的spiderName，暂时可以先这么用)，不需要每次都打命令行了。
建立Scrapy工程
通过Scrapy中文站的教学指令 Scrapy startproject tutorial 其实能很方便的建立一个Scrapy项目。仔细查看这个项目就会发现，其实所有初始化的文件都是可以手动配置的(详情请仔细看Scrapy工程目录介绍)。
但是对于入门而言，直接使用 Scrapy startproject <projectName> 就可以了。
项目工程树结构如下:
scrapy.cfg
myproject/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
spider1.py
spider2.py
...
Scrapy组件使用
items.py
class MyItem(scrapy.Item):
url = scrapy.Field()
text = scrapy.Field()
其中自定义类继承自scrapy.Item，并添加自定义属性(类型为scrapy.Field)。
Item是用来收集scrapy抓取的数据的容器，原始抓取信息是杂乱的，我们需要自己归纳出想要的数据。
比如上面的Item类封装了url和text数据，正是我想要抓取一个页面的所有链接<a>，并获取其href属性和标签内容:
<a id=1 href="url">"text"</a>
.....
<a id=n href="url">"text"</a>
因此需要获取怎样的数据，通常要自己上一下目标网页查看源码，并自己归纳出特征。
spiders/spiderName.py
spider是单个的抓取类，其中封装好了request和response，当获取到response之后会自动调用回调函数parse(self, response)。我们就可以对response进行处理(比如http的response中可能会包含html源码)。
class Nbwxgj(scrapy.Spider):
name = "xxblog" #spider唯一标示，用scrapy crawl dmoz来启动dmoz爬虫
allowed_domain = ["xxblog.com"] #
def start_requests(self): #返回一个url字符串列表，scrapy会根据这些url创建request，这个函数可以设定callback参数调用自己的回调函数，默认是调用parse
return [scrapy.Request("http://www.xxblog.com/xxxxxxxxx")]
def parse(self, response):
sel = scrapy.Selector(response) #用scarpy.Selector提取自己要的数据
content = sel.xpath("//pre/a")
for c in content:
item = ScavangerItem()
item["text"] = c.xpath("text()").extract()
item["url"] = c.xpath("@href").extract()
yield item #生成器，用来和pipelines配合使用，得到数据
注意点
c.xpath(“text()”).extract()返回的是一个列表，其中包含的字符串元素是unicode编码的(python3默认字符串unicode编码)，对于想要转换成utf-8编码方便传输，可以用:
[s.encode("utf-8") for s in c.xpath("text()").extract()]
但如果这么做，yield产生的item就无法被json化输出了，因为utf-8编码的字符串在python中属于bytes类型，bytes类型无法被json.dumps()处理。
scrapy.Selector 可以用xpath和css的选择器语法，对处理xml类文档是很强大的，而且还可以嵌套使用，因为每次返回的都是Selector对象。
通常的用法是用xpath和css筛选出标签的内容后，使用正则匹配找到自己要的信息:
x = c.xpath("text()") #xpath()函数返回的是一个Selector对象
x.xpath("...") #还能继续嵌套用
x.re("...") #最后用正则找到自己的信息，用了正则之后就不能继续用了，因为返回的不是Selector了，而是字符串。
pipelines.py
主要用来对单个spider中获取到的Item进行处理，可以把Item的数据保存成json字符串输出到文件等。
import json
class ScavangerPipeline(object):
def __init__(self):
self.file = open('htea.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
#item可以用dict方法转换成字典，然后json.dumps()转换成字符串
line = json.dumps(dict(item), ensure_ascii=False) + "\n"
#把字符串写到文件
self.file.write(line)
return item
def spider_closed(self, spider):
self.file.close()
网上有很多教程是用codec.open来打开文件进行写的，这样的话，会把unicode编码汉字的unicide编码给写进去，打开文档看到的就是unicode编码，如果需要显示中文，则不用codec打开比较好，可以直接用with…open。
