Hadoop企业优化

MapReduce 跑的慢的原因

《Hadoop企业优化》 image.png

MapReduce优化方法
MapReduce优化方法主要从六个方面考虑:数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。
数据输入

《Hadoop企业优化》 image.png

Map阶段

《Hadoop企业优化》 image.png

Reduce阶段

《Hadoop企业优化》 image.png

《Hadoop企业优化》 image.png

《Hadoop企业优化》 image.png
《Hadoop企业优化》 image.png

《Hadoop企业优化》 image.png

HDFS小文件优化方法
6.3.1 HDFS小文件弊端
HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用NameNode的内存空间,另一方面就是索引文件过大使得索引速度变慢。
6.3.2 HDFS小文件解决方案
小文件的优化无非以下几种方式:
(1)在数据采集的时候,就将小文件或小批数据合成大文件再上传HDFS。
(2)在业务处理之前,在HDFS上使用MapReduce程序对小文件进行合并。
(3)在MapReduce处理时,可采用CombineTextInputFormat提高效率

《Hadoop企业优化》 image.png

    原文作者:白纸糊
    原文地址: https://www.jianshu.com/p/2614e18bcd05
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注