HBase BulkLoad Can not create a path from a null string

2023年1月19日 289次阅读 来源: 独行的卡卡

问题现象

高于1.0的HBase进行BulkLoad抛出异常：

java.lang.IllegalArgumentException: Can not create a Path from a null string
    at org.apache.hadoop.fs.Path.checkPathArg(Path.java:122)
    at org.apache.hadoop.fs.Path.<init>(Path.java:134)
    at org.apache.hadoop.fs.Path.<init>(Path.java:88)
    at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2.configurePartitioner(HFileOutputFormat2.java:591)
    at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2.configureIncrementalLoad(HFileOutputFormat2.java:440)
    at org.apache.hadoop.hbase.mapreduce.HFileOutputFormat2.configureIncrementalLoad(HFileOutputFormat2.java:405)
    ...

问题分析

当前HFileOutputFormat2中的代码：

Path partitionsPath = new Path(conf.get("hbase.fs.tmp.dir"), "partitions_" + UUID.randomUUID());

当配置项hbase.fs.tmp.dir不存在时，conf.get()将返回null，从而导致上述异常。

问题解决方案

在代码中或配置文件中添加配置项hbase.fs.tmp.dir。

    原文作者：独行的卡卡
    原文地址: https://www.jianshu.com/p/7999380e8c52
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞