Hadoop是个高效的工具

介绍了Hadoop的由来和组成，当然提供给你用来分析的数据，以及最快的方式。更重要的是描述第一个Hadoop工程的详细编写过程。

1.认识Hadoop

1.1解决高速增长的存储空间和读取速度不匹配的问题

引入了多个磁盘同时读取数据的技术。但为实现这个技术，又有两个问题需要解决：

• 硬盘故障问题
• 各种分布式系统允许结合不同来源的数据进行分析，很难保证其正确性。

而在Hadoop中对这两个问题都做到处理和解决。对于第一个问题，常用的做法是保存数据副本（replica），Hadoop文件系统（HDFS， Hadoop Distributed FileSystem）的使用原理类似，略有不同。第二个问题Hadoop中引入了MapReduce模型，模型抽象出了硬盘读写问题并将其转换为对一个数据集的计算，同时也具备较高的可靠性。

MapReduce 是一种线性的可伸缩编程模型。使用者要写两个函数，分别是Map函数和Reduce函数，每个函数定义从一个键值对集合到另一个键值对集合到映射。性能方面，MapReduce尽量在计算节点上存储数据，以实现数据的本地快速访问，数据本地化是MapReduce的核心特征，从而获得更好的性能。另外有多种基于MapReduce的高级查询语言（Pig和Hive）供使用。稳定性上，MapReduce采用无共享（shared-nothing）框架，实现了失败检测，所有使用者无需担心系统的部分失效问题。

1.2.气象数据下载

书中的数据分析实例使用的是ncdc的气象数据，在手动编写程序之前，首先要准备好这些数据。最开始找到了ncdc的ftp站点ftp://ftp.ncdc.noaa.gov/pub/data/，下载经常性的出现断线，下载速度异常缓慢。所以不得不重新搜索新的源，最终找到了https://www1.ncdc.noaa.gov/pub/data/noaa这个地址，但是在下载时却不像ftp可以批量下载。

而只能通过脚本去抓去数据。这个脚本实现的功能是，按年份批量下载对应地址的压缩包，并将这些数据按年份保存。值得一说的是这个shell脚本使用了并行下载方式，节省了大量的时间。

#! /bin/bash
for i in {1901..2019}  
do { 
    mkdir -p /Users/macos/noaaData/$i
    wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* https://www1.ncdc.noaa.gov/pub/data/noaa/$i/ -P /Users/macos/noaaData/$i
}&
done 

2.第一个Hadoop工程

2.1 安装并运行Hadoop

• 下载最新2.8.1版本

• 具体安装方式和配置过程参考官方文档 http://hadoop.apache.org/docs/current/

• 进入hadoop-x.x.x/sbin目录下运行star-all脚本（中间需要输入root密码）

启动成功验证：

打开浏览器：
http://192.168.8.88:50070 (hdfs管理界面)显示active活跃状态
http://192.168.8.88:8088 （yarn管理界面）
以上两个地址正常显示，则说明启动成功。

2.2 Hadoop程序编写

MapReduce任务过程分为两个处理阶段：

• map阶段
• reduce阶段

每个阶段都以键值对作为输入和输出，类型可供选择。两个处理阶段需要分别编写相应的函数方法，并加上运行作业的代码。

新建Maven项目

1. 在pom.xml文件中增加以下依赖关系

<dependencies> 
  <dependency> 
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-common</artifactId>  
    <version>2.8.1</version> 
  </dependency>  
  
  <dependency> 
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-hdfs</artifactId>  
    <version>2.8.1</version> 
  </dependency> 
   
  <dependency> 
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-mapreduce-client-core</artifactId>  
    <version>2.8.1</version> 
  </dependency>  
  
  <dependency> 
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-mapreduce-client-jobclient</artifactId>  
    <version>2.8.1</version> 
  </dependency>  
  
  <dependency> 
    <groupId>org.apache.hadoop</groupId>  
    <artifactId>hadoop-mapreduce-client-common</artifactId>  
    <version>2.8.1</version> 
  </dependency> 
</dependencies>

1. 编写Map函数、Reduce函数和调用执行代码

Map函数
完成功能：在天气数据中截取温度数据。并写入到contex中为Reduce方法准备好数据。

// cc MaxTemperatureMapper Mapper for maximum temperature example
// vv MaxTemperatureMapper
import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MaxTemperatureMapper
  extends Mapper<LongWritable, Text, Text, IntWritable> {

  private static final int MISSING = 9999;
  
  @Override
  public void map(LongWritable key, Text value, Context context)
      throws IOException, InterruptedException {
    
    String line = value.toString();
    String year = line.substring(15, 19);
    int airTemperature;
    if (line.charAt(87) == '+') { // parseInt doesn't like leading plus signs
      airTemperature = Integer.parseInt(line.substring(88, 92));
    } else {
      airTemperature = Integer.parseInt(line.substring(87, 92));
    }
    String quality = line.substring(92, 93);
    if (airTemperature != MISSING && quality.matches("[01459]")) {
      context.write(new Text(year), new IntWritable(airTemperature));
    }
  }
}
// ^^ MaxTemperatureMapper

Reduce函数
完成功能：根据Map函数传递来的数据计算最大值，并输出年份和最高温度的键值对。

// cc MaxTemperatureReducer Reducer for maximum temperature example
// vv MaxTemperatureReducer
import java.io.IOException;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MaxTemperatureReducer
  extends Reducer<Text, IntWritable, Text, IntWritable> {
  
  @Override
  public void reduce(Text key, Iterable<IntWritable> values,
      Context context)
      throws IOException, InterruptedException {
    
    int maxValue = Integer.MIN_VALUE;
    for (IntWritable value : values) {
      maxValue = Math.max(maxValue, value.get());
    }
    context.write(key, new IntWritable(maxValue));
  }
}
// ^^ MaxTemperatureReducer

main方法：
完成功能：创建运行Job，传递数据目录并设置Map和Reduce对应class；同时设置输出键值对格式。

// cc MaxTemperature Application to find the maximum temperature in the weather dataset
// vv MaxTemperature
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MaxTemperature {

  public static void main(String[] args) throws Exception {
    if (args.length != 2) {
      System.err.println("Usage: MaxTemperature <input path> <output path>");
      System.exit(-1);
    }
    
    Job job = new Job();
    job.setJarByClass(MaxTemperature.class);
    job.setJobName("Max temperature");

    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    
    job.setMapperClass(MaxTemperatureMapper.class);
    job.setReducerClass(MaxTemperatureReducer.class);

    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}
// ^^ MaxTemperature

1. 设置数据输入输出目录

在Run configurations中Program arguments输入框中，设置数据目录和输出目录的绝对路径。

运行会在输出目录下生成两个文件：

_SUCCESS
part-r-00000

第二个文件为我们需要的运行结果如下：

1948 342
1949 311
…

到此我们对Hadoop工程有了一个初步认识，并成功运行了我们的第一个项目。好了，这篇分享就到这了，感兴趣可以持续关注博客更新哦🌹