Hadoop 集中式的缓存管理demo

Posted 2021-04-13 Orison的孤独奋斗

参考文献：
http://www.infoq.com/cn/articles/hdfs-centralized-cache https://blog.csdn.net/javastart/article/details/50586743

从Hadoop 2.3.0 开始，加入了集中式缓存管理(HDFS centralized cache management)。

特点：

• 由namenode管理。那么HDFS client（例如MapReduce、Impala）就可以根据block被cache的分布情况去调度任务，做到memory-locality。

• HDFS原来单纯靠DataNode的OS buffer cache，这样不但没有把block被cache的分布情况对外暴露给上层应用优化任务调度，也有可能会造成cache浪费。例如一个block的三个replica分别存储在三个DataNote 上，有可能这个block同时被这三台DataNode的OS buffer cache，那么从HDFS的全局看就有同一个block在cache中存了三份，造成了资源浪费。

• 加快HDFS client读速度。过去NameNode处理读请求时只根据拓扑远近决定去哪个DataNode读，现在还要加入speed的因素。当HDFS client和要读取的block被cache在同一台DataNode的时候，可以通过zero-copy read直接从内存读，略过磁盘I/O、checksum校验等环节。

• 即使数据被cache的DataNode节点宕机，block移动，集群重启，cache都不会受到影响。因为cache被NameNode统一管理并被被持久化到FSImage和EditLog，如果cache的某个block的DataNode宕机，NameNode会调度其他存储了这个replica的DataNode，把它cache到内存。

我为什么会用到

在做一个工业数据量级别的项目，包括全量数据与部分增量数据，使用parquet格式存储在HDFS中，查询使用Hive与SparkSQL，原本计划重写MapReduce的InputFormat与Spark DataSource API，在计算分片时把增量数据读入JVM然后分发给每个分片。而Hive比较坑的一点是，当Hive使用MapReduce查询（如count、where、join等操作），将不会使用自定义InputFormat的getSplits方法进行分片而是用自带的CombineHiveInputFormat分片。导致无法在分片时读入增量数据。遂考虑在每个分片内独自读取增量数据。但是多个进程同时读势必会影响速度，于是打算将增量数据存储于集中式缓存。

使用示例

命令

• addDirective：添加指令

hdfs cacheadmin -addDirective -path path -pool pool-name [-force] [-replication replication] [-ttl time-to-live]

-path 添加的路径 -pool 加入的缓冲池名称 -force 不检查缓存池的资源限制 -replication 要使用的副本数，默认为1 -ttl 缓存指令可以保持多长时间。可以按照分钟，小时，天来指定，如30m，4h，2d。有效单位为[smhd]。“never”表示永不过期的指令。如果未指定该值，那么，缓存指令就不会过期。

• removeDirective：通过id删除指令

hdfs cacheadmin -removeDirective

• removeDirectives：删除执行path下所有缓存命令

hdfs cacheadmin -removeDirective

• listDirectives：显示某一路径下的缓存信息

hdfs cacheadmin -listDirectives [-stats] [-path path] [-pool pool]

-stats 显示 列出基于path的缓存指令统计信息。

• 添加/修改缓存池：addPool/modifyPool

hdfs cacheadmin -addPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl] hdfs cacheadmin -modifyPool name [-owner owner] [-group group] [-mode mode] [-limit limit] [-maxTtl maxTtl]

其中， -owner/group是该pool的属主/组，默认为当前用户 -mode是POSIX风格权限，默认为0755 -limit为该pool中可以缓存的最大字节数，默认没有限制 -maxTtl 最大的生存期，可以是120s, 30m, 4h, 2d等。

• 移除缓冲池：removePool

hdfs cacheadmin -removePool name

• 列出缓冲池：listPools

hdfs cacheadmin -listPools [-stats] [name]

-stats为显示统计信息

实战

hdfs cacheadmin -addPool cache_data -mode 0777 18/05/12 13:48:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Successfully added cache pool cache_data. hdfs cacheadmin -addDirective -path /data -pool cache_data 18/05/12 13:50:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Added cache directive 1 hdfs cacheadmin -listPools -stats cache_data 18/05/12 13:50:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 1 result. NAME        OWNER      GROUP  MODE            LIMIT  MAXTTL  BYTES_NEEDED  BYTES_CACHED  BYTES_OVERLIMIT  FILES_NEEDED  FILES_CACHED cache_data  hadoop  staff  rwxrwxrwx   unlimited   never             0             0                0             0             0 hdfs cacheadmin -listDirectives -path /data 18/05/12 13:50:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 1 entry ID POOL         REPL EXPIRY  PATH        1 cache_data      1 never   /data