haoop集群  做好内存管理跟重要，不然经常会给抛出个 OutMemory   ,内存溢出  以horntonworks给出推荐配置为样本，给出一种常见的Hadoop集群上各组件的内存分配…

转自：https://blog.csdn.net/lb812913059/article/details/79898818 1、Map任务的个数 读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的…

很多时候我们的hdfs路径设置的都是有规律的，而且从路径中可以获取一些信息。 那么怎么在map的过程中获取到当前处理的记录的路径呢？ // 假设当前路径为/data/app/app1/2015/09/13/00/cust…

       最近在准备抽取数据的工作。有一个id集合200多M，要从另一个500GB的数据集合中抽取出所有id集合中包含的数据集。id数据集合中每一个行就是一…

最近在网上查看用MapReduce实现的Kmeans算法，例子是不错，http://blog.csdn.net/jshayzf/article/details/22739063 但注释太少了，而且参数太多，如果新手学习的…

索引是hive0.7之后才有的功能，创建索引需要评估其合理性，因为创建索引也是要磁盘空间，维护起来也是需要代价的   创建索引 hive> create index [index_studentid] o…

需求： 基于上一道题，我想将结果按照总流量的大小由大到小输出。   思考： 默认mapreduce是对key字符串按照字母进行排序的，而我们想任意排序，只需要把key设成一个类，再对该类写一个compareTo…

一、MapReduce的优缺点： 优点：1.易于编程；2.良好的扩展性；3.高容错性；4.适合PB级别以上的大数据的分布式离线批处理。 缺点：1.难以实时计算（MapReduce处理的是存储在本地磁盘上的离线数据）2.不…

  在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数（split个数）的主要因素有：   1) 文件的大小。当块（…

  MapReduce算法   MapReduce算法讲大规模计算的过程分成了两个阶段： Map阶段：在这个阶段，通过Map过程，将原始数据列表，处理成中间数据，用于Reduce过程的处理 Reduc…

1 例子jar位置 [hadoop@hadoop02 mapreduce]$ pwd /hadoop/hadoop-2.8.2/share/hadoop/mapreduce [hadoop@hadoop02 mapred…

问题描述：    在hadoop中运行应用，出现了running beyond virtual memory错误。提示如下： Container [pid=28920,containerID=cont…