Hadoop 集中式的缓存管理demo

参考文献: http://www.infoq.com/cn/articles/hdfs-centralized-cache https://blog.csdn.net/javastart/article/details/50586743

从Hadoop 2.3.0 开始,加入了集中式缓存管理(HDFS centralized cache management)。

特点:

由namenode管理。那么HDFS client(例如MapReduce、Impala)就可以根据block被cache的分布情况去调度任务,做到memory-locality。

HDFS原来单纯靠DataNode的OS buffer cache,这样不但没有把block被cache的分布情况对外暴露给上层应用优化任务调度,也有可能会造成cache浪费。例如一个block的三个replica分别存储在三个DataNote 上,有可能这个block同时被这三台DataNode的OS buffer cache,那么从HDFS的全局看就有同一个block在cache中存了三份,造成了资源浪费。

加快HDFS client读速度。过去NameNode处理读请求时只根据拓扑远近决定去哪个DataNode读,现在还要加入speed的因素。当HDFS client和要读取的block被cache在同一台DataNode的时候,可以通过zero-copy read直接从内存读,略过磁盘I/O、checksum校验等环节。

即使数据被cache的DataNode节点宕机,block移动,集群重启,cache都不会受到影响。因为cache被NameNode统一管理并被被持久化到FSImage和EditLog,如果cache的某个block的DataNode宕机,NameNode会调度其他存储了这个replica的DataNode,把它cache到内存。

我为什么会用到

在做一个工业数据量级别的项目,包括全量数据与部分增量数据,使用parquet格式存储在HDFS中,查询使用Hive与SparkSQL,原本计划重写MapReduce的InputFormat与Spark DataSource API,在计算分片时把增量数据读入JVM然后分发给每个分片。而Hive比较坑的一点是,当Hive使用MapReduce查询(如count、where、join等操作),将不会使用自定义InputFormat的getSplits方法进行分片而是用自带的CombineHiveInputFormat分片。导致无法在分片时读入增量数据。遂考虑在每个分片内独自读取增量数据。但是多个进程同时读势必会影响速度,于是打算将增量数据存储于集中式缓存。

使用示例

命令

  • addDirective:添加指令

hdfs cacheadmin -addDirective -path path -pool pool-name [-force] [-replication replication] [-ttl time-to-live]

-path 添加的路径 -pool 加入的缓冲池名称 -force 不检查缓存池的资源限制 -replication 要使用的副本数,默认为1 -ttl 缓存指令可以保持多长时间。可以按照分钟,小时,天来指定,如30m,4h,2d。有效单位为[smhd]。“never”表示永不过期的指令。如果未指定该值,那么,缓存指令就不会过期。

  • removeDirective:通过id删除指令

hdfs cacheadmin -removeDirective

  • removeDirectives:删除执行path下所有缓存命令

hdfs cacheadmin -removeDirective

  • listDirectives:显示某一路径下的缓存信息

hdfs cacheadmin -listDirectives [-stats] [-path path] [-pool pool]

  • -stats 显示 列出基于path的缓存指令统计信息。

  • 添加/修改缓存池:addPool/modifyPool

hdfs cacheadmin -addPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl] hdfs cacheadmin -modifyPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl]

其中, -owner/group是该pool的属主/组,默认为当前用户 -mode是POSIX风格权限,默认为0755 -limit为该pool中可以缓存的最大字节数,默认没有限制 -maxTtl 最大的生存期,可以是120s, 30m, 4h, 2d等。

  • 移除缓冲池:removePool

hdfs cacheadmin -removePool name

  • 列出缓冲池:listPools

hdfs cacheadmin -listPools [-stats] [name]

  • -stats为显示统计信息

实战

hdfs cacheadmin -addPool cache_data -mode 0777
18/05/12 13:48:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Successfully added cache pool cache_data.

hdfs cacheadmin -addDirective -path /data -pool cache_data
18/05/12 13:50:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Added cache directive 1

hdfs cacheadmin -listPools -stats cache_data
18/05/12 13:50:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 result.
NAME        OWNER      GROUP  MODE            LIMIT  MAXTTL  BYTES_NEEDED  BYTES_CACHED  BYTES_OVERLIMIT  FILES_NEEDED  FILES_CACHED
cache_data  hadoop  staff  rwxrwxrwx   unlimited   never             0             0                0             0             0

hdfs cacheadmin -listDirectives -path /data
18/05/12 13:50:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 entry
 ID POOL         REPL EXPIRY  PATH      
  1 cache_data      1 never   /data
    原文作者:orisonchan
    原文地址: https://www.jianshu.com/p/b43e09c98ab7
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞