Spark RDD持久化级别

RDD持久化用于RDD重用和节省重新计算,方便构建迭代算法,缓存粒度为整个RDD

持久化级别

StorageLevel说明
MEMORY_ONLY使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化,默认的持久化策略
MEMORY_AND_DISK使用未序列化的Java对象格式,优先尝试将数据保存在内存中。如果内存不够存放所有的数据,会将数据写入磁盘文件中。不会立刻输出到磁盘
MEMORY_ONLY_SERRDD的每个partition会被序列化成一个字节数组,节省空间,读取时间更占CPU
MEMORY_AND_DISK_SER序列化存储,超出部分写入磁盘文件中
DISK_ONLY使用未序列化的Java对象格式,将数据全部写入磁盘文件中
MEMORY_ONLY_2对于上述任意一种持久化策略,如果加上后缀_2,代表的是将每个持久化的数据,都复制一份副本,并将副本保存到其他节点上
OFF_HEAPRDD序列化存储在Tachyon

如何选择存储级别?

如果默认能满足使用默认的
如果不能于MEMORY_ONLY很好的契合,建议使用MEMORY_ONLY_SER
尽可能不要存储数据到磁盘上,除非数据集函数计算量特别大,或者它过滤了大量数据,否则从新计算一个分区的速度和从磁盘中读取差不多
如果想拥有快速故障恢复能力,可以使用复制存储级别(_2)
可以自定义存储级别(如复制因子为3),使用StorageLevel单例对象apply方法

    原文作者:Alex90
    原文地址: https://www.jianshu.com/p/39d5019353ea
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞