RDD持久化用于RDD重用和节省重新计算,方便构建迭代算法,缓存粒度为整个RDD
持久化级别
StorageLevel | 说明 |
---|---|
MEMORY_ONLY | 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化,默认的持久化策略 |
MEMORY_AND_DISK | 使用未序列化的Java对象格式,优先尝试将数据保存在内存中。如果内存不够存放所有的数据,会将数据写入磁盘文件中。不会立刻输出到磁盘 |
MEMORY_ONLY_SER | RDD的每个partition会被序列化成一个字节数组,节省空间,读取时间更占CPU |
MEMORY_AND_DISK_SER | 序列化存储,超出部分写入磁盘文件中 |
DISK_ONLY | 使用未序列化的Java对象格式,将数据全部写入磁盘文件中 |
MEMORY_ONLY_2 | 对于上述任意一种持久化策略,如果加上后缀_2,代表的是将每个持久化的数据,都复制一份副本,并将副本保存到其他节点上 |
OFF_HEAP | RDD序列化存储在Tachyon |
如何选择存储级别?
如果默认能满足使用默认的
如果不能于MEMORY_ONLY很好的契合,建议使用MEMORY_ONLY_SER
尽可能不要存储数据到磁盘上,除非数据集函数计算量特别大,或者它过滤了大量数据,否则从新计算一个分区的速度和从磁盘中读取差不多
如果想拥有快速故障恢复能力,可以使用复制存储级别(_2)
可以自定义存储级别(如复制因子为3),使用StorageLevel单例对象apply方法