这篇文章重现了我自己用七台centos6.7mnimal虚拟机搭建一个ha hadoop集群的过程。（之前配置虚拟机和搭建hadoop集群的文章：虚拟机的配置和Hadoop集群的配置）

环境准备

从以前安装的虚拟机克隆7台（已经装好jdk，hadoop）。

• vi /etc/udev/rules.d/70-persistent-net.rules(把eth1改为eth0，删除eth0所在行)
• vi /etc/sysconfig/network（修改主机名）
• vi /etc/sysconfig/network-scripts/ifcfg-eth0（配置ip）
• service iptables status（确认防火墙关闭）
• reboot
• vi /etc/hosts配置hosts
• ssh免密登陆配置（ssh-keygen,ssh-copy-id xxx）
• 确定安装好jdk，配置好环境变量

集群规划

• 这里有两个NameNode，一个处于active状态，一个处于standby状态。ActiveNamenode对外提供服务，而StandbyNamenode则不对外提供服务，仅同步active namenode的状态，以便在故障时快速进行切换。hadoop2.0提供了两种HDFS HA的解决方案，NFS和QJM，这里我们使用QJM。在该方案中两个namenode间通过JournalNode同步元数据信息，一条数据只要写入JournalNode即认为写入成功。通常配置奇数个JournalNode，依靠zookeeper来协调。这里还配置了一个zookeeper集群，用于ZKFC故障转移。ResourceManager也是有一个Active，一个Standby，状态由zookeeper进行协调。

安装

zookeeper集群和简单的hadoop集群搭建前面已经介绍过
关于zookeeper：配置的要点是zoo.cfg（配置dataDir，server）和myid（在dataDir中），然后拷贝分发到奇数个节点（加上这个）上（mkdir datadir，修改myid）。
关于hadoop，添加环境变量，然后配置$HADOOP_HOME/etc/hadoop下的文件：

• hadoop-env.sh
  export JAVA_HOME=/apps/jdk1.7.0_45
• core-site.xml

<configuration>
<!-- 指定hdfs的nameservice为bigdata，两个namenode的逻辑名称 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hdpdata/</value>
</property>
<!-- 指定zookeeper地址，ha机制依赖于zookeeper -->
<property>
<name>ha.zookeeper.quorum</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
</configuration>

• hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为bigdata，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>bigdata</value>
</property>
<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.bigdata</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn1</name>
<value>ha1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn1</name>
<value>ha1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.bigdata.nn2</name>
<value>ha2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.bigdata.nn2</name>
<value>ha2:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://ha5:8485;ha6:8485;ha7:8485/bigdata</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.bigdata</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行，防止脑裂-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间，超时则执行shell脚本 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

• mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

• yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>ha3</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>ha4</value>
</property>
<!-- 指定zk集群地址，yarn的高可用借助zookeeper实现 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

• slaves（datanode，nodemanager的主机）

ha5
ha6
ha7

• 配置文件改好后，将hadoop拷贝到其他节点

scp -r /hadoop ha2:/
……

启动（按照顺序）

• 启动zookeeper集群

cd /hadoop/apps/zookeeper-3.4.5/bin/
./zkServer.sh start
./zkServer.sh status

• 启动JournalNode

cd /hadoop/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode

• 格式化hdfs

hdfs namenode -format
然后拷到另一个namenode下
scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/
（hdfs namenode -bootstrapStandby）

生成了hdpdata的数据

• 格式化zkfc（在ha1上执行一次即可）

hdfs zkfc -formatZK
可以/zookeeper/bin/zkCli.sh连上去查看

• 启动hdfs

start-dfs.sh

• 启动yarn

start-yarn.sh

启动hdfs的过程

启动yarn的过程

启动yarn时还需要手动起ha4主机上的resourcemanager（可能那个脚本没写好）：

yarn-daemon.sh start resourcemanager

高可用的hadoop集群在这里配置完毕！

ha解决了hadoop 1namenode的单点故障问题，federation解决了扩容问题，namenode容量可以水平拓展。