scrapy 相关

2019年6月11日 285次阅读 来源: 董小贱

好久没有用过scrapy框架，甚至有一些手生了。学习东西最痛苦的事情是，学了的东西不用。过一段时间我都怀疑自己是否学过了。 还是古话说的好，温故而知新。在这里记录一下感觉重要的几个点。先从简单的来。

0.设置User-Agent

设置User-Agent的方法有很多种，其他的都是设置配置之类的。这里只说一个通过改写middlewares的。

0.0.1 首先来说一个第三方库fake_useragent, 这个库是可以提供随机的User-Agent，免去了自己维护User-Agent的麻烦。
# 安装fake_useragent
pip install fake-useragent
# 使用示例
from fake_useragent import UserAgent
ua = UserAgent()
ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR       3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0     Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25

# 随机生成一个UA
ua.random
0.0.2 编写middleware.py 文件中的类
from fake_useragent import UserAgent
class RandomUserAgentMiddleware(object):

    def __init__(self, crawler):
        super(RandomUserAgentMiddleware, self).__init__()
        self.ua = UserAgent()

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_requests(self, request, spider):
        request.headers.setdefault("User-Agent", self.ua.random)
0.0.3 修改setting文件
 # 值得注意的是原生的UserAgentMiddleware 必须设置为None。
DOWNLOADER_MIDDLEWARES = {
'spiderProject.middlewares.RandomUserAgentMiddleware': 543,
"scrapy.downloadermiddlewares.useragent.UserAgentMiddleware": None
}

1.设置全局代理

同样是编写middleware。这个是非常的简单。然后配置到setting文件中就ok。

class ProxyMiddleware(object):
    def process_requests(self, request, spider):
        request.meta["proxy"] = "http://121.61.0.5:9999"

3.scrapy与selenium结合

3.1 首先编写中间件
class SeleniumRequestsMiddleware(object):
    def process_request(self, request, spider):
        if spider.name == "baidu":
            driver = webdriver.Chrome()
            driver.get(request.url)
            import time
            time.sleep(3)
            from scrapy.http import HtmlResponse  # scapy会将HtmlResponse 直接返回，所以这里要使用这个
           return HtmlResponse(
                url=driver.current_url,
                body=driver.page_source,
                encoding="utf-8",
                request=request
            )

这段代码其实是有问题的：

  1. 只要满足spider.name == “baidu”的请求都会创建一个driver，会极大的影响请求速度。
  2. 当有信号spider close的时候，不一定会执行driver.quit()，内存不一定释放，所以要对关闭进行处理。
  3. 当一个项目同时启动多个spider，会共用到Middleware中的selenium，不利于并发。
3.2 针对以上问题的解决方案
 # middleware.py 文件
class SeleniumRequestsMiddleware(object):
    def process_request(self, request, spider):
       if spider.name == "baidu":
            spider.driver.get(request.url)
            import time
            time.sleep(3)
            from scrapy.http import HtmlResponse
            return HtmlResponse(
                url=spider.driver.current_url,
                body=spider.driver.page_source,
                encoding="utf-8",
                request=request
            )

# spider文件  baidu.py
class BaiduSpider(scrapy.Spider):
    name = 'baidu'
    allowed_domains = ['baidu.com']
    start_urls = ['http://www.baidu.com/']

    def __init__(self): # 在这里可以定制一些webdriver.Chrome()的相关配置
        self.driver = webdriver.Chrome()
        super(BaiduSpider, self).__init__()
        dispatcher.connect(receiver=self.driver_close,  
                       signal=signals.spider_closed)  # 通过信号控制，当是spider_closed信号时，调用driver_close.

    def driver_close(self, spider):
        self.driver.quit()

问题：
这里其实并没有实现并发操作，这个我从github上边，有一个实例scrapy-phantomjs-downloader，重写了downloader,如果需要可以进行参考。

4. 关于setting

setting.py文件中已经有了很多全局化的配置，当然，还有很多配置并没有提示出来,参考setting设置, 这里需要注意的是其配置的优先级，否则很容易出问题。这里重点说两个需要注意的地方。

4.1 为每个spider配置私有配置
class MySpider(scrapy.Spider):
    name = 'myspider'
    custom_settings = {
        'SOME_SETTING': 'some value',
    }
# 这个优先级要比settings.py中的要高，通过custom_settings中的配置会覆盖settings.py中的配置。
4.2 在spider文件中过去设置，可以用self.settings获取配置
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        print("Existing settings: %s" % self.settings.attributes.keys())
4.3可以通过scrapy.crawler.Crawler.settings获取配置文件中的配置
#Crawler可以通过settings属性传递给from_crawler扩展，中间件和项目管道中，固定的写法如下：
@classmethod
def from_crawler(cls, crawler):
    settings = crawler.settings
    return cls(crawler)
注：settings在初始化蜘蛛之后，在基础Spider类中设置该属性。如果要在初始化之前使用设置（例如，在spider的__init__()方法中），则需要覆盖该 from_crawler()方法。

5. 关于信号Signals

signals感觉挺重要的，了解信号的机制，对于拓展scrapy来讲相当重要，这里不做多解释，下边是官网 上的一个例子：

from scrapy import signals
from scrapy import Spider


class DmozSpider(Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/",
    ]

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(DmozSpider, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider

    def spider_closed(self, spider):
        spider.logger.info('Spider closed: %s', spider.name)

    def parse(self, response):
        pass

注： 关于scrapy的框架好久没用了，暂时想到这么多。深入理解爬虫中间件、下载中间件以及信号处理的方式，那么拓展scrapy是相当方便的，关于信号的处理我这里也是比较薄弱，还更需努力，欢迎读者老爷不吝指教，谢谢

    原文作者：董小贱
    原文地址: https://www.jianshu.com/p/b179dbd582a5
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞