简单分布式爬虫——第三弹：nodeSpider的实现

2019年5月18日 123次阅读

前两讲分别讲了分布式爬虫的结构和masterSpider的实现：
简单分布式爬虫——第一弹：了解分布式爬虫结构
简单分布式爬虫——第二弹：masterSpider的实现
接下来完成分布式爬虫的最后一部分：节点爬虫的实现。
节点爬虫顾名思义就是负责爬取任务，具体来讲主要实现：
1、从网络上获取masterSpider放在task_queue队列中的任务（url）
2、爬取获取的url的内容，并解析出新的url和所要提取的数据内容
3、将解析好的数据以一定格式（字典）返还给masterSpider（放入result_queue队列）
接下来来完成各部分的功能实现：
根据模块化思想，我们将nodeSpider分为三部分：
MainSpider: 负责nodeSpider调度
HtmlDownloader: 下载网页
HtmlParser: 解析网页

## MainSpider.py
# -*- coding: utf-8 -*-
from multiprocessing.managers import BaseManager
from HtmlDownLoader import HtmlDownloader
from HtmlParser import HtmlParser

class SpiderWork(object):
    '''
    爬虫节点调度器:
        初始化:
            从主节点注册任务
            初始化下载器和解析器
        开始爬取:
    '''
    def __init__(self):
        #初始化分布式进程中的工作节点的连接工作
        # 实现第一步：使用BaseManager注册获取Queue的方法名称
        BaseManager.register('get_task_queue')
        BaseManager.register('get_result_queue')
        # 实现第二步：连接到服务器:
        server_addr = '127.0.0.1' 
        print('Connect to server %s...' % server_addr)
        # 端口和验证口令注意保持与服务进程设置的完全一致:
        self.m = BaseManager(address=(server_addr, 10001), authkey='python'.encode('utf-8'))
        try:
            self.m.connect()
            # 实现第三步：获取Queue的对象:
            self.task = self.m.get_task_queue()
            self.result = self.m.get_result_queue()
            #初始化网页下载器和解析器
            self.downloader = HtmlDownloader()
            self.parser = HtmlParser()
            print('*********Init finished!*********')
        except ConnectionRefusedError as e:
            print('！！主节点未响应')
            exit(-1)

    def crawl(self, counter):
        while True:
            try:
                if not self.task.empty():
                    url = self.task.get()

                    if url == 'end':
                        print('控制节点通知爬虫节点停止工作...')
                        #接着通知其它节点停止工作
                        self.result.put({'new_urls': 'end', 'data': 'end'})
                        return
                    print('%s节点正在解析:%s'%(counter,url.encode('utf-8')))
                    counter += 1
                    content = self.downloader.download(url)
                    new_urls, data = self.parser.parser(url, content)
                    self.result.put({"new_urls": new_urls, "data": data})
            except EOFError as e:
                print("连接工作节点失败")
                return
            except Exception as e:
                print(e)
                print('!!Crawled fail')

if __name__ == "__main__":
    spider = SpiderWork()
    spider.crawl()


## HtmlDownloader.py
# -*- coding: utf-8 -*-
import requests

class HtmlDownloader(object):
    '''
    HTML下载器：
        一个接口：
            网页下载接口: downloader(url)
    '''

    def download(self,url):
        if url is None:
            return None
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        headers={'User-Agent': user_agent}
        r = requests.get(url,headers=headers)
        if r.status_code == 200:
            r.encoding = 'utf-8'
            return r.text
        return None

## HtmlParser.py
# -*- utf-8 -*-
import re
from urllib.parse import urlparse, urljoin
from bs4 import BeautifulSoup


class HtmlParser(object):
    '''
    HTML内容解析器:
        一个对外接口:
            内容解析器: parser(url,content)
    '''

    def parser(self, url, content):
        '''
        用于解析网页内容抽取URL和数据
        :param url: 下载页面的URL
        :param content: 下载的网页内容
        :return:返回URL和数据
        '''
        if url is None or content is None:
            return
        soup = BeautifulSoup(content, 'html.parser', from_encoding='utf-8')
        new_urls = self._get_new_urls(url, soup)
        new_data = self._get_new_data(url, soup)
        return new_urls, new_data


    def _get_new_urls(self,page_url,soup):
        '''
        抽取新的URL集合
        :param page_url: 下载页面的URL
        :param soup:soup
        :return: 返回新的URL集合
        '''
        new_urls = set()
        #抽取符合要求的a标签： 示例
        links = soup.find_all('a',href=re.compile(r'/item/.*'))
        for link in links:
            #提取href属性
            new_url = link['href']
            #拼接成完整网址
            new_full_url = urljoin(page_url,new_url)
            new_urls.add(new_full_url)
        return new_urls
    def _get_new_data(self,page_url,soup):
        '''
        抽取有效数据: 示例
        :param page_url:下载页面的URL
        :param soup:
        :return:返回有效数据
        '''
        data={}
        data['url']=page_url
        title = soup.find('dd',class_='lemmaWgt-lemmaTitle-title').find('h1')
        data['title']=title.get_text()
        summary = soup.find('div',class_='lemma-summary')
        #获取到tag中包含的所有文版内容包括子孙tag中的内容,并将结果作为Unicode字符串返回
        data['summary']=summary.get_text()
        return data

nodeSpider的结构很清晰，根据自己需要修改Html解析类即可。

至此，我们完成了整个打造简单分布式爬虫的任务，这其中重在理清爬虫框架结构，更重要的是要自己在理解了框架的基础上动手实践。

下一讲：关于简单分布式爬虫的一点想法

参考资料：《Python爬虫开发与项目实战》

点赞