1、首先排查pipeline类是否有在settings中注册
2、查看spider中最后有没有忘记写yield item

一般是由于第二个原因。

顺便提一句，scrapy运行起来之后，pipeline只有一个实例。
所以去重的话，如果是单机模式，可以在pipeline中采用set去重。