一 【学习目标】
- 创建一个Scrapy项目
- 定义提取的结构化数据Item
- 编写爬虫网页的Spider并提取出结构化数据Item
- 编写Item Pipelines 来存储提取的Item数据（可以存储到MySQL或Redis）
二 【新建一个新的项目】
- 新建一个项目,并进入项目目录。
scrapy startproject mySpider
cd mySpider
image.png
项目中文件的作用：
- scrapy.cfg : 项目的配置文件
- mySpider：项目的模块，放项目相关的代码文件
- mySpider/items.py：项目的数据机构存储文件
- mySpider/pipelines.py：项目的管道文件
- mySpider/settings.py：项目的设置文件
- mySpider/spiders：放置爬虫程序的目录，多个爬虫就多个子目录
三【设置数据结构】
这里我打算取的地址是：
http://www.dytt8.net/html/gndy/dyzz/list_23_1.html
获取所有电影的标题、链接、描述和下载地址
打开mySpider目录下的Items.py
定义电影的结构化数据的字段，用于保存获取到的数据。
可以通过创建一个scrapy Item 类，并且类型为Scrapy.Field来定义一个Item。
4.下面我们创建一个MyspiderItem和构建Item的属性。
import scrapy
class MyspiderItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
link = scrapy.Field()
desc = scrapy.Field()
download_url = scrapy.Field()
pass
四【制作爬虫】
1.创建一个爬虫文件
scrapy genspider movie www.dytt8.net
2.修改spider/movie.py 文件,内容如下：
# -*- coding: utf-8 -*-
import scrapy
class MovieSpider(scrapy.Spider):
name = 'movie'
allowed_domains = ['www.dytt8.net']
start_urls = ['http://www.dytt8.net/']
def parse(self, response):
pass
这个文件也可以手动创建，用命令比较方便一些。
name : 这个是爬虫的名称，必须唯一。
allow_domains : 是允许的域名范围，是一个列表类型，可以设置多个域名，表示爬虫只能爬取允许域名下URL。
start_urls : 爬虫从这里定义的URL开始爬取网页。
parse(self,response) : 爬取网页后，使用这个方法来处理爬取后获取的网页内容。
a. 提取页面数据组装结构化数据Item
b.获取下一个需要爬取的URL
3.在start_urls里加入一个需要爬取的url地址
start_urls = ['http://www.dytt8.net/html/gndy/dyzz/index.html']
- 修改parse方法
def parse(self, response):
with open("movie_items.html","w") as fp:
fp.write(response.text)
pass
5.运行一下items爬虫
scrapy crawl movie
会生成movie_items.html页面
- 取结构化数据
一般使用xpath,教程参考：http://www.w3school.com.cn/xpath/index.asp
修改movie.py爬虫文件
# -*- coding: utf-8 -*-
import scrapy
from mySpider.items import MyspiderItem
import json
import time
import time
class MovieSpider(scrapy.Spider):
name = 'movie'
page = 1
base_url = "http://www.dytt8.net"
list_base_url = base_url + '/html/gndy/dyzz/list_23_'
allowed_domains = ['www.dytt8.net']
start_urls = [list_base_url + "%s.html" % page]
#电影列表回调方法
def parse(self, response):
#通过xpath获取电影列表
titlelist = response.xpath('//table[@class="tbspan"]')
for movie in titlelist:
item = MyspiderItem()
title = movie.xpath("./tr[2]/td[2]/b/a/text()").extract() #通过子节点提取标题
link = movie.xpath("./tr[2]/td[2]/b/a/@href").extract()#通过子节点提取详情url
desc = movie.xpath("./tr[4]/td/text()").extract() #通过子节点提取电影描述
item['title'] = title[0] #提取后是一个只有一个元素的列表类型，所以提取第0个元素
item['link'] = self.base_url + link[0]
item['desc'] = desc[0]
item['download_url'] = ''
yield item
#通过 item['link'] 属性获取详情页，处理方法为self.parse_detail
yield scrapy.Request(item['link'],callback=self.parse_detail)
#继续爬取下一页以及后面的页面,一共3页
if self.page < 3:
self.page = self.page + 1
page_url = self.list_base_url + "%s.html" % self.page
print("---------------------------page number url ----------------------------")
print(page_url)
yield scrapy.Request(page_url, callback=self.parse)
# 电影详情回调方法
def parse_detail(self,response):
time.sleep(2)
#通过xpath获取电影详情里的下载地址
download_url = response.xpath('//*[@id="Zoom"]//table[1]//td/a/@href').extract()
print("---------------------------detail download_url----------------------------")
print("---------------------------" + download_url[0] + "----------------------------")
item = MyspiderItem()
item['link'] = response.url
item['download_url'] = download_url[0]
return item
- 保存数据
创建表：
DROP TABLE IF EXISTS `movies`;
CREATE TABLE `movies` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`title` varchar(50) NOT NULL DEFAULT '',
`link` varchar(200) NOT NULL DEFAULT '',
`desc` varchar(1024) NOT NULL DEFAULT '',
`download_url` varchar(500) DEFAULT '',
PRIMARY KEY (`id`),
KEY `link` (`link`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;
然后修改pipelines.py管道文件
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
import pymysql
import redis
import jieba
from collections import Counter
class MyspiderPipeline(object):
def __init__(self):
self.id = 1;
#链接数据库
self.db = pymysql.connect("localhost", "root", "root", "test", charset='utf8')
#获取游标
self.cursor = self.db.cursor()
#链接redis
self.redisClient = redis.Redis(host="127.0.0.1", port=6379)
def process_item(self, item, spider):
dictitem = dict(item)
#通过download_url判断，如果是详情页获取的item，把获取到的电影下载地址download_url更新到mysql数据库
if dictitem['download_url']:
link = dictitem['link']
download_url = dictitem['download_url']
sql = "UPDATE movies SET `download_url` = '%s' WHERE `link` = '%s'" \
% (download_url, link)
self.cursor.execute(sql)
# 如果是电影列表获取的item，把获取到的title,link,desc插入到mysql数据库
else:
title = dictitem['title']
link = dictitem['link']
desc = dictitem['desc']
sql = "INSERT INTO movies(`title`,`link`,`desc`) \
VALUES ('%s', '%s', '%s')" % \
(title, link, desc)
self.cursor.execute(sql)
last_id = self.cursor.lastrowid #获取最后一次插入的主键id
#用jieba对title进行分词，把分词和结果和主键的保存到redis的set数据类型里，用于搜索
data = jieba.cut(title)
data = dict(Counter(data))
for k, v in data.items():#循环所有分词
word = k.encode('utf-8')
self.redisClient.sadd(word, last_id)#保存每个分词和id的对应关系
print("--------------------------- process_item sql ----------------------------")
print(sql)
self.db.commit()
return item
需要安装第三方模块:
pip install pymysql
pip install redis
pip install jieba
