scrapy实战:智联招聘数据采集
章节内容
通过scrapy项目开发,完成智联招聘工作岗位信息的数据采集工作
课程内容
1. 创建智联招聘数据采集爬虫
在你的项目目录中,执行如下命令,创建爬虫项目
scrapy startproject zhilianspider
2. 创建采集数据的Item封装类型及数据库表
采集的数据要被封装起来进行使用,找到并修改zhilianspider/zhilianspider/items.py,修改内容如下:
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://doc.scrapy.org/en/latest/topics/items.html
# 引入scrapy模块
import scrapy
class ZhilianItem(scrapy.Item):
'''
创建一个Item类型,用于定义爬虫采集的数据字段
'''
# 通过scrapy.Field()函数定义属性字段
# 工作岗位名称
job_name = scrapy.Field()
# 发布公司名称
company = scrapy.Field()
# 岗位月薪
salary = scrapy.Field()
在数据库中创建对应的数据表,用于进行最终的数据存储,在数据库中执行如下的sql脚本
# 创建数据库
CREATE DATABASE zhilian_spider DEFAULT CHARSET 'utf8';
USE zhilian_spider;
# 创建数据表
CREATE TABLE jobs(
id INT AUTO_INCREMENT PRIMARY KEY,
job_name VARCHAR(200),
company VARCHAR(200),
salary VARCHAR(50)
);
# 初始查询,是一张空表,无数据
SELECT * FROM jobs;
3. 开发核心爬虫程序
在爬虫目录中创建智联爬虫文件,并创建爬虫类型进行数据的采集
在zhilianspider/zhilianspider/spiders/目录下,创建zhilainspider.py文件
在zhilianspider.py文件中,创建ZhilianSpider类型,编辑内容如下:
# coding:utf-8
import scrapy
from ..items import ZhilianItem
#http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1
class ZhilianSpider(scrapy.Spider):
'''
爬虫核心程序开发
'''
# 定义名称,用于命令行启动执行爬虫使用
name = "zlspider"
# 定义限定域名,防止跨域数据采集
allowed_domains = ["zhaopin.com"]
# 初始采集URL地址
start_urls = (
"http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=bb28054b0714445f85382f12e09c9228&p=1",
)
def parse(self, response):
'''
采集处理函数,scrapy下载器采集下载的数据存放在response中
:param response:
:return:
'''
# 通过xpath筛选得到当前工作列表
job_list = response.xpath("//div[@id='newlist_list_content_table']/table[@class='newlist'][position()>1]")
# 循环获取每个工作信息
for job in job_list:
# 筛选工作名称
job_name = job.xpath("tr[1]/td[@class='zwmc']/div/a").xpath("string(.)").extract()[0]
# 筛选发布公司
company = job.xpath("tr[1]/td[@class='gsmc']/a").xpath("string(.)").extract()[0]
# 筛选薪水待遇
salary = job.xpath("tr[1]/td[@class='zwyx']").xpath("string(.)").extract()[0]
# 封装生成item对象,交给pipelines模块进行后续数据验证和存储
item = ZhilianItem()
item['job_name'] = job_name
item['company'] = company
item['salary'] = salary
yield item
4. 管道存储数据到数据库
爬虫程序采集完数据之后,需要将数据存储在数据库中,我们通过管道模块进行操作
找到并修改管道文件zhilianspier/zhilianspider/pipelines.py,创建智联管道类型ZhilianPipeline,编辑内容如下:
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
# 引入sqlalchemy模块
from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
# 进入pymysql模块,用于替代sqlalchemy底层的mysqldb
import pymysql
pymysql.install_as_MySQLdb()
class ZhilianPipeline(object):
'''
智联招聘爬虫管道模块,进行数据验证和存储
'''
def __init__(self):
# 打开和数据库的连接引擎,获取连接会话对象
engine = create_engine("mysql://root:@localhost/zhilian_spider?charset=utf8")
Session = sessionmaker(bind=engine)
self.session = Session()
def process_item(self, item, spider):
# 生成sql语句
zl_sql = "insert into jobs(job_name, company, salary) values('%s', '%s', '%s')" % \
(item['job_name'], item['company'], item['salary'])
# 执行sql语句
self.session.execute(zl_sql)
return item
def close_spider(self, spider):
# 提交数据并关闭数据库连接会话
self.session.commit()
self.session.close()
5. 测试运行
爬虫程序至此开发完成,在命令行中进入爬虫项目根目录,执行如下命令:
scrapy crawl zlspider
等待程序运行结束,可以在数据库中执行查询命令
select * from jobs;
可以看到已经采集到如下数据:
id | job_name | company | salary |
---|---|---|---|
1 | 数据爬虫工程师 | 北京昆仑亿发科技股份有限公司 | 10001-15000 |
2 | Python爬虫产品设计师 | 北京阿博泰克北大青鸟信息技术有限公司 | 10001-15000 |
3 | 搜索爬虫研发工程师–c++ | 中国搜索信息科技股份有限公司 | 20001-30000 |
4 | 数据挖掘(爬虫方向) | 北京热云科技有限公司 | 20000-30000 |
5 | 爬虫工程师(AI算法)(031287) | 京东金融 | 面议 |
6 | 数据产品经理(爬虫)—外卖事业部#3975 | 北京三快在线科技有限公司 | 面议 |
7 | 爬虫开发工程师 | 东旭集团 | 15001-20000 |
8 | 数据抓取爬虫工程师 | 今日头条 | 15000-30000 |
9 | 高级爬虫工工程师-北京-03198 | 博彦科技股份有限公司 | 20000-30000 |
10 | 知名集团公司招聘java爬虫数据工程师 | 北京科锐国际人力资源股份有限公司 | 10001-15000 |
11 | 爬虫工程师(000658) | 旷视科技face++ | 18000-36000 |
12 | 爬虫工程师 | 凡普金科企业发展(上海)有限公司 | 20000-40000 |
13 | python爬虫工程师 | 上海仁教信息技术有限公司 | 20001-30000 |
6.思考~~
上面的程序我们成功的采集到了需要的数据,但是问题是~我们只是针对一个url地址采集的数据,一个岗位的搜索会包含很多页数据,怎么进行下一页的url地址跟踪爬取呢?
下一节,深度爬虫更加精彩,大牧期待你一起学习