一、通过item loader加载Item

在jobbole.py中引入from scrapy.loader import ItemLoader
通过item loader调用：

        item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)
        item_loader.add_css("title", ".entry-header h1::text")
        item_loader.add_value("url", response.url)
        item_loader.add_value("url_object_id", get_md5(response.url))
        item_loader.add_css("create_date", "p.entry-meta-hide-on-mobile::text")
        front_image_url = response.meta.get("front_image_url", "")  # 文章封面图
        item_loader.add_value("front_image_url", [front_image_url])
        item_loader.add_css("praise_nums", ".vote-post-up h10::text")
        item_loader.add_css("comment_nums", "a[href='#article-comment'] span::text")
        item_loader.add_css("fav_nums", ".bookmark-btn::text")
        item_loader.add_css("tags", "p.entry-meta-hide-on-mobile a::text")
        item_loader.add_css("content", "div.entry")

        article_item = item_loader.load_item()

其中第一行中JobBoleArticleItem()为在items.py中声明的实例，response为返回的响应。这属于固定写法。
add_css()中第一个值为items.py中定义的值，第二个值为css选择器规则
不只有add_css()也有xpath的选择器add_xpath()，在需要时选用。
同理，add_value()为添加确定值的方法。这里通过值传递附给front_image_url再通过add_value的方法，加入到最终的item中。

最后通过调用load_item()方法对结果进行解析，所有的结果都是一个list并保存到article_item中。

item loader三个主要的方法分别是：add_css(), add_xpath(), add_value()

二、通过items.py处理数据

引入from scrapy.loader.processors import MapCompose
在scrapy.Field中可以加入处理函数：

    title = scrapy.Field(
        input_processor = MapCompose(lambda x:x+"----", add_string)
    )

def add_string(value):
    return value+"-这是后缀"

在jobbole.py中设置断点，可以看到的结果是已经出现了定义的后缀了。

Paste_Image.png

另外，可以看到，结果都是
list这时需要提取第一个值。Scrapy给我们提供了
TakeFirst方法。

from scrapy.loader.processors import MapCompose,TakeFirst

这时代码变

    title = scrapy.Field(
        input_processor = MapCompose(lambda x:x+"----", add_jobbole),
        output_processor = TakeFirst()
    )

即可以得到第一个值。
由于每一个结果都是取第一个值，每个值全部调用这个方法重复代码过多，可以通过自定义Item loader重载的方法解决。
引入from scrapy.loader import ItemLoader
这个库文件提供了以下方法：

class ItemLoader(object):

    default_item_class = Item
    default_input_processor = Identity()
    default_output_processor = Identity()
    default_selector_class = Selector

自定义itemloader

class ArticleItemLoader(ItemLoader):
    default_output_processor = TakeFirst()

然后在jobbole.py文件中，把
item_loader = ItemLoader(item=JobBoleArticleItem(), response=response)中的ItemLoader变为ArticleItemLoader。即

item_loader = ArticleItemLoader(item=JobBoleArticleItem(), response=response)

同时在文件头引入from articlespider.items import JobBoleArticleItem,ArticleItemLoader
这样得到的结果就是一个值而不是list了。

Paste_Image.png

不过在上图是可以看到，它的tags也取了第一个值，但实际上它的值是三个，不满足我们的需要。

引入Join方法

from scrapy.loader.processors import MapCompose,TakeFirst,Join

同时不使用自定义的itemloader即可。

    tags = scrapy.Field(
        output_processor=Join(','),
    )

Paste_Image.png

和前面一样，有时候tags会有
评论的不符合要求的tags。

还需要自定义函数把相应的字段去掉。

def remove_comment(value):
    if '评论' in value:
        return ''
    else:
        return value

在处理图片时，使用pipelines需要传递的是一个列表，这里经过处理后，变成了str。可以通过一个默认函数不让默认的TakeFirst处理即可。

def return_value(value):
    return value

调用方法是

    front_image_url = scrapy.Field(
        output_processor=MapCompose(return_value),
    )