hive 已经自动mapjoin优化,将小表载入到内存;不需要再mapjoin 设置。 但是skewjoin 还是得手动设置(你可每次都添加此设置,没看见有副作用) 参考:https://cwiki.apache.org…
标签:小表
黑猴子的家:Hive 表的优化之 小表 Join 大表
将key相对分散,并且数据量小的表放在join的左边,这样可以有效减少内存溢出错误发生的几率;再进一步,可以使用Group让小的维度表(1000条以下的记录条数)先进内存。在map端完成reduce。 实际测试发现:新版…