hive设置map和reduce数量

2023年2月25日 447次阅读 来源: 萧闲待业

如何设置map个数

在hive中没有办法直接设置map个数，但是可以通过设置一个map处理的最大数据量，来设置map个数
参数如下：

set mapred.max.split.size=256000000;        -- 决定每个map处理的最大的文件大小，单位为B
set mapred.min.split.size.per.node=1;         -- 节点中可以处理的最小的文件大小
set mapred.min.split.size.per.rack=1;         -- 机架中可以处理的最小的文件大小

如何设置reduce个数

reduce个数有两种方式来设置.

  • 方法一 直接设置reduce个数,如下：
set mapred.reduce.tasks=10;  -- 设置reduce的数量
  • 方法二设置单个reduce处理的数据量大小
set hive.exec.reducers.bytes.per.reducer=1073741824 -- 每个reduce处理的数据量,默认1GB
    原文作者：萧闲待业
    原文地址: https://www.jianshu.com/p/89c4337010c8
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞