转载请注明出处:http://www.jianshu.com/p/15739e95a46e @贰拾贰画生 最近在学习spark,理解这两个函数时候费了一些劲,现在记录一下。 1. rdd.fold(value)(func…
标签:reduce
hive设置map和reduce数量
如何设置map个数 在hive中没有办法直接设置map个数,但是可以通过设置一个map处理的最大数据量,来设置map个数 参数如下: set mapred.max.split.size=256000000; -- 决定每…