Request Request 部分源码： # 部分代码 class Request(object_ref): def __init__(self, url, callback=None, method='GET', h…

importscrapy classtmSpider(scrapy.Spider): name =’tianmao’ defstart_requests(self): # 全部url urls =…

原文出处： geekvi super() 的入门使用 在类的继承中，如果重定义某个方法，该方法会覆盖父类的同名方法，但有时，我们希望能同时实现父类的功能，这时，我们就需要调用父类的方法了，可通过使用 super 来实现，…

POST方式爬取数据 一般情况下使用Scrapy默认的方式就可以处理各种GET方式的数据爬取需求，当然有些场景是需要用户登录或者提供某些数据后使用POST请求才能获取到需要的数据。 class MySpider(scra…

官方去重： scrapy官方文档的去重模块，只能实现对当前抓取数据的去重，下面是官方 API from scrapy.exceptions import DropItem class DuplicatesPipeline…

alloc 是在物理内存中分配了一块内存，并且返回一个指针。 MyClass* myObj = [MyClass alloc]; 此时myObj还不能使用，因为它的内存状态还没有得到正确的设置。 init 设置对象的初始…

Block是我们在日常OC编码中经常使用的特性，它可以非常便捷高效的编写和组织代码，可以让异步调用的代码更加的精炼易读。但是在日常开发过程中我们大部分情况都是写着教科书一般的代码来确保编码的正确,下面我们通过block的…

OC中GCD的某些方法调用非常的方便，对象或类名就可以调用, 比如以下： dispatch_async(dispatch_get_main_queue(), ^{ }); 这是C语言写的函数，在C语言函数中使用对象或者是…

官方去重： scrapy官方文档的去重模块，只能实现对当前抓取数据的去重，并不会和数据库里的数据做对比。也就是说如果你抓了100条数据，里面有10条重复了，它会丢掉这10条，但100条里有20条和数据库的数据重复了，它也…

上一篇文章简单介绍了下Scrapy的启动，我们知道了scrapy.crawler.CrawlerProcess这个类是启动爬虫的幕后黑手。本文将深入到CrawlerProcess这个类中，分析Scrapy的调度逻辑。 c…

在pipelines.py中自定义DuplicatesPipeline类: class DuplicatesPipeline(object): """ 去重 """ def __init__(self): self.bo…

Swift vs. Objective-C 谈谈对Objective-C和Swift 动态特性的理解 runtime其实就是Objective-C的动态机制。runtime执行的是编译后的代码，这时它可以动态加载对象、添…