Scrapy 自定义扩展 自定义扩展时，利用信号在指定位置注册指定操作。 新建custom_extensions.py from scrapy import signals class MyExtend: def __i…

编辑pipelines.py，添加自定义pipelines类： class MySQLPipeline(object): @classmethod def from_crawler(cls, crawler): # 从项…

在pipelines.py中写入MongoDBPipeline,代码如下: from scrapy import Item import pymongo class MongoDBPipeline(object): ""…