Scrapy输出CSV指定item的顺序

2023年12月3日 284次阅读 来源: 千的幻梦

百度搜索出来的简书上的另一个回答，我用了一下，发现不行。于是从stackoverflow找到了一个更简洁的方法

1）在spiders中增加文件csv_item_exporter.py

fromscrapy.conf impor tsettings
fromscrapy.contrib.exporter import CsvItemExporter

classMyCsvItemExporter(CsvItemExporter):
    def__init__(self,*args,**kwargs):
        kwargs['fields_to_export'] = settings.getlist('EXPORT_FIELDS' )or None
        super(AvioCsvItemExporter,self).__init__(*args,**kwargs)

2）在settings.py中添加如下代码

FEED_EXPORTERS = {
    'csv' : 'tutorial.spiders.csv_item_exporter.MyCsvItemExporter'
}
# tutorial替换成你的project名

EXPORT_FIELDS = [
    'item1',
    'item2',
    'item3',
    'item4',
]

这个方法挺简单的，但是不是很喜欢，因为要再创建一个新文件，而实际上scrapy提供了pipelines.py来处理提取出来的item，还是应该利用原有的方法最好，今天暂时没空研究了，下次再说

附上链接
https://stackoverflow.com/questions/20753358/how-can-i-use-the-fields-to-export-attribute-in-baseitemexporter-to-order-my-scr/20758558#20758558

    原文作者：千的幻梦
    原文地址: https://www.jianshu.com/p/c4cd66a17a80
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞