Hive SQL,在Reduce任务Shuffle阶段出现OOM

问题:Reduce任务Shuffle阶段报如下错误:

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher

《Hive SQL,在Reduce任务Shuffle阶段出现OOM》 异常截图

解决方案:

调低mapreduce.reduce.shuffle.input.buffer.percent,默认为0.7,可以从0.2开始向上调。当只有20%的heap size分配给shuffle buffer的时候不容易出现OOM。

单独针对这个任务调这个参数,调低会牺牲一些效率,但是能保证跑过

    原文作者:那只媛
    原文地址: https://www.jianshu.com/p/79d19324a554
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞