文章也同时在个人博客 http://kimihe.com/更新
1. 引言
笔者目前已经开启了博士预科，方向偏系统工程，涉及到分布式架构的设计与改进。Apache基于Google的MapReduce体系开发的hadoop是业界最常用的分布式框架。本文将把笔者在前期调研过程中，搭建hadoop真分布集群的实践做一个总结，形成一个“最速搭建攻略”。
2. 背景概述
- 分布式体系有很多，基于MapReduce的hadoop只是一种实现。
- 分布式计算适合大数据集(GB级&以上)，数据量过少无法体现其价值。
- 虽然很多教程是使用个人电脑搭建虚拟机来模拟多个分部式节点，但还是建议使用真实的机器或者服务器。当然，个人电脑配置足够高例外。
- Hadoop一般运行在Linux上，笔者使用的是Ubuntu 16.04LTS，目前是一个控制节点(NameNode)，三个工作节点(DataNode)。
- 所有节点建议运行在内网，即个节点间的通信网卡与内网IP绑定。
- 本文内容虽然基于
hadoop-2.8.0，但大多数配置可与hadoop-3.0及更高版本兼容。
以下将例举每一个关键步骤，原理说明暂时略去，请按照本文一步一步做。
3. Hadoop用户管理
3.1 创建hadoop操作用户
sudo useradd -m hadoop -s /bin/bash
3.2 给该用户添加密码
sudo passwd hadoop
输入完密码回车，密码在输入时是不可见的，不要误以为出错。
3.3 给hadoop用户分配sudo权限
sudo adduser hadoop sudo
3.4 注销用户或重启系统，以用户Hadoop登录
4. Ubuntu相关软件
4.1 更新软件源
sudo apt-get update
4.2 安装wget
sudo apt-get install wget
4.3 安装vim
sudo apt-get install vim
之后所有的配置操作都需要用到命令行界面编辑工具vim。
5. 配置hosts
各节点运行ifconfig查看自身内网IP，然后修改hosts。我们以控制节点为例，其余工作节点的配置原理与控制节点相同。下文中以hadoop-master代指控制节点，以hadoop-slave代指工作节点。
5.1 修改hostname
sudo vim /etc/hostname
将其名称改为hadoop-master。
5.2 修改hosts
sudo vim /etc/hosts
修改如下：
127.0.0.1 localhost
# Map: your hadoop nodes IP to hostname
10.10.43.90 hadoop-master
10.10.43.91 hadoop-slave1
10.10.43.92 hadoop-slave2
10.10.43.93 hadoop-slave3
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
请务必使用内网IP来映射。hadoop-slave执行同原理操作。
5.3 连通性测试
在hadoop-master上ping各hadoop-slave节点。
ping -c 3 hadoop-slave1;
ping -c 3 hadoop-slave2;
ping -c 3 hadoop-slave3;
6. 配置SSH
控制节点需要控制工作节点，需要使用到ssh服务，务必配置正确。
6.1 安装ssh
sudo apt-get install openssh-server
6.2 分发RSA公钥
生成hadoop-masterRSA公私钥对，并向各hadoop-slave节点以及hadoop-master自身，分发hadoop-master的公钥。
6.3 生成RSA公私钥对
cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa* # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa # 一直按回车就可以
6.4 向hadoop-master自身分发
cat ./id_rsa.pub >> ./authorized_keys
6.5 向各hadoop-slave分发
建议直接复制hadoop-master~/.ssh/id_rsa.pub文件中的内容，然后登录到各hadoop-slave节点，将该内容粘贴到~/.ssh/authorized_keys文件中。
若担心操作失误，可以执行如下命令代替手动操作，以向hadoop-slave1分发为例：
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop-slave1
上述操作后，可能需要输入密码。
6.6 测试ssh登录
以hadoop-master登录hadoop-slave1为例：
ssh hadoop-slave1
对于弹出的身份验证警告，输入yes并回车，选择信任它。
6.7 简化登录操作（可选）
现在每次ssh需要输入较多信息，可进一步简化，此小节的配置为可选，可以跳过不配。
在自己家目录下的.ssh目录下新建config文件，并在其中进行同样的配置。你可能先要执行mkdir ~/.ssh和/或ssh localhost和/或ssh-keygen -t rsa等命令来使得自己拥有.ssh目录。在拥有.ssh目录并新建config文件后，config文件的配置如下：
Host my_server # hadoop-master
HostName 10.10.43.90 或 example.com
User user_name # hadoop
IdentityFile ~/.ssh/id_rsa
参数解释：
Host: 为你整个ssh的配置取一个便于记忆的别名，可以简化后续登录操作。
例如: 只需要ssh my_server，而不必ssh user_name@10.10.43.90 (user_name@example.com)，即可登录。
HostName: 目标主机的主机名，即ssh@之后的内容，常见为IP地址或url。
Port: ssh所使用的端口号，默认22。
User: 登录所用的用户名。
IdentifyFile: 指定私钥存放的位置，默认是 ~/.ssh/id_rsa。
注意：~/.ssh/id_rsa只能自己拥有，不能泄露给其他人！
以上配置完成后，可以直接ssh my_server，而不必ssh user_name@10.10.43.90 (user_name@example.com)，即可登录。
7. 安装java运行环境
7.1 安装JDK&JRE
sudo apt-get install openjdk-8-jre openjdk-8-jdk
建议装version 8不要装9。安装完成后，默认路径是/usr/lib/jvm/java-8-openjdk-amd64，如果不一致请搜索到正确路径。
7.2 添加环境变量
cd
vim .bashrc
添加如下jave的PATH：
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
更新环境变量
source .bashrc
7.3 测试java环境
java -version
看到相应版本信息输出即表明配置正确：
hadoop@hadoop-master:~$ java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-8u121-b13-0ubuntu1.16.04.2-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)
8. 安装hadoop
建议安装最新的稳定版(stable)，直接去apache官网下载比较慢，可以下载镜像。笔者当时最新稳定版是2.8.0：
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
下载完解压到/usr/local/目录下：
sudo tar -zxf ~/你下载这个压缩包的地方/hadoop-2.8.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local # 切到含有hadoop-2.8.0的目录下
sudo chown -R hadoop:hadoop ./hadoop-2.8.0 # 修改文件权限
8.1 配置hadoop环境变量
同java的环境变量一样，执行vim ~/.bashrc，在内容末尾添加如下：
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
HADOOP PATH START
export HADOOP_HOME=/usr/local/hadoop-2.8.0
export HADOOP_LIB_NATIVE=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/lib
#HADOOP PATH END
9. 配置真分布参数
在hadoop-master上，如果按前面的环境配置，所有的配置文件都在/usr/local/hadoop-2.8.0/etc/hadoop/目录下。接下来用vim逐个修改：
9.1 hadoop-env.sh
目前根据经验发现，hadoop-env.sh中的export JAVA_HOME=${JAVA_HOME}需要手动再次设置一下java安装目录的绝对路径(本文是export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64)，否则很有可能在后续运行时出现找不到java环境变量的错误。
9.2 slaves (文件)
hadoop-slave1
hadoop-slave2
hadoop-slave3
很显然我们规定上述三个节点为工作节点。注意：在hadoop-3.0之后，slaves文件更名为workers。
9.3 core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-master:9000</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.DefaultCodec,
<!--
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
-->
</value>
</property>
</configuration>
9.4 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-master:50090</value>
</property>
</configuration>
9.5 mapred-site.xml
首先需要重命名该文件：
mv ./mapred-site.xml.template mapred-site.xml
然后修改mapred-site.xml：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-master:19888</value>
</property>
<!-- DefaultCodec -->
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.DefaultCodec</value>
</property>
</configuration>
9.6 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>100</value>
</property>
-->
</configuration>
对于所有的hadoop-slaves执行完全一样的配置操作。
10. 运行hadoop
格式化分布式文件系统
hdfs namenode -format # 首次运行需要执行初始化，之后不需要
10.1 运行文件系统管理器
start-dfs.sh
10.2 运行任务调度管理器
start-yarn.sh
10.3 查看相关进程
jps
在hadoop-master可以看到如下信息：
hadoop@hadoop-master:~$ jps
22128 Launcher
22917 SecondaryNameNode
23358 Jps
23086 ResourceManager
22687 NameNode
在任何一个hadoop-slave都可以看到如下信息：
hadoop@hadoop-slave1:~$ jps
5091 NodeManager
5302 Jps
4952 DataNode
以上缺少任何一个进程都表明运行出错了，一般都是配置有误。或者是系统资源不足。
11. web查看信息
在浏览器中输入：hadoop-master:50070可以查看各工作节点状态。输入hadoop-master:8088可以查看任务进度。
12. 运行测试集benchmark
笔者选择HiBench，具体的测试过程及配置教程请见Hadoop常用测试集HiBench配置指南。
13. 关闭hadoop
执行相反的操作：
stop-yarn.sh
stop-dfs.sh
14. 总结
本文是快速搭建Hadoop真分布集群的好帮手，希望对大家有所帮助！任何疑问和建议欢迎留言，笔者会及时反馈。
