dfs.block.access.key.update.interval=600 dfs.block.access.token.enable=false dfs.block.access.token.lifetime=6…

本篇分两部分，第一部分分析使用 java 提交 mapreduce 任务时对 mapper 数量的控制，第二部分分析使用 streaming 形式提交 mapreduce 任务时对 mapper 数量的控制。  …

一、MapReduce 原理 MapReduce 是一种变成模式，用于大规模的数据集的分布式运算。通俗的将就是会将任务分给不同的机器做完，然后在收集汇总。 MapReduce有两个核心：Map,Reduce,它们分别单独…

1.【Driver.class】– Job job = Job.getInstance(conf); 　　　　–>【job.class】getInstance(conf) 　　　　̵…

示例   数据： 1949-10-01 14:21:02 34c 1949-10-02 14:01:02 36c 1950-01-01 11:21:02 32c 1950-10-01 12:21:02 37c …

Hadoop的MapReduce不只是可以处理文本信息，它还可以处理二进制格式的数据1. 关于SequenceFileInputFormat类Hadoop的顺序文件格式存储二进制的键/值对的序列。由于它们是可分割的(它们…

K-Means 算法 K-Means的算法还是比较容易理解的，也很直观。有一批数据，需要把它聚类成K个类别。首先随机获得K个初始样本点作为聚类中心（这里就使用最简单的获得初始点的方法），然后在每一次迭代中，对于每个样本点…

需求： 利用mapReduce实现类似微博中查找共同粉丝的功能。如下： A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,…

共享原因：虽然用一篇博文写问题感觉有点奢侈，但是搜索百度，相关文章太少了，苦苦探寻日志才找到解决方案。 遇到问题：在windows平台上开发的mapreduce程序，运行迟迟没有结果。 Mapreduce程序 publi…

调用Mapreduce，org.apache.hadoop.hbase.mapreduce处理hbase问题 hbase org.apache.hadoop.hbase.mapreduce.Export ERROR: W…

一、概述      优化前我们需要知道hadoop适合干什么活，适合什么场景，在工作中，我们要知道业务是怎样的，能才结合平台资源达到最有优化。除了这些我们当然还要知道mapreduce的执行…

（搭建集群部分借鉴了kiwenlau/hadoop-cluster-docker中的内容，不过那里的基础环境是Ubuntu，本人这里是用的CentOS7，因此也糟了不少坑！） 目录索引 一、编辑Hadoop运行环境中的配…