一、常用端口 组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DataNode 50075 dfs…

个人在做hadoop有关的开发，作为这种国宝始祖级别的论文无论如何都是要拜读一下的，正好可以从中了解到一些hadoop内部运行机制，读罢不得不掩卷而叹，精，精巧，精准 1.GFS(Google File System) …

    function map(String name, String document): // name: document name // document: document content…

错误日志:   2018-11-19 05:23:51,686 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(6…

　　1、概述。 　　“MapReduce作业（job）是客户端需要执行的一个工作单元。Hadoop将作业分成若干个小任务（task）来执行，其中包括两类任务：map任务和reduce任务。 　　有两类节点控制着作业执行过…

mongodb的MapReduce主要包含两个方法：map和reduce。 举个例子，假设现在有下面3条记录 { "_id" : ObjectId("4e5ff893c0277826074ec533"), "x" : […

1 package MapReduce; 2 3 import java.io.IOException; 4 import java.net.URI; 5 import java.net.URISyntaxExcepti…

  Hive设置方法： SET mapreduce.job.queuename=root.up; SET mapreduce.job.priority=HIGH;   set tez.queue.na…

需求 1、对原始json数据进行解析，变成普通文本数据 2、求出每个人评分最高的3部电影 3、求出被评分次数最多的3部电影   数据 https://pan.baidu.com/s/1gPsQXVYSQEZ2O…

 hadoop对于压缩文件的支持 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。  如果我们压缩的文…

1、mapreduce之shuffle http://blog.csdn.net/thomas0yang/article/details/8562910 2、彻底了解mapreduce核心ShuffleR…

  一.输入文件类型设置为 CombineTextInputFormat hadoop job.setInputFormatClass(CombineTextInputFormat.class) sp…