hadoop2集群搭建详解————————天津九安医疗电子–吴伟

一、需要软件

Jdk1.8.0_linux

Hadoop-2.2.0（Apache官网Stable版本）

Hbase-0.96.2（与Hadoop-2.2.0是配套的，不用覆盖jar包）

Zookeepr-3.4.5

# 集群结构图

IP地址

主机名

ZK

NN

DN

JN

HRS

HM

192.168.12.109

Master1

是

是

是

是

否

是

192.168.12.122

Master2

是

是（备）

是

是

否

是（备）

192.168.12.123

Slave1

是

否

是

是

是

否

192.168.12.126

Slave2

是

否

是

是

是

否

192.168.12.127

Slave3

是

否

是

是

是

否

192.168.12.129

Slave4

是

否

是

否

是

否

192.168.12.131

Slave5

是

否

是

否

是

否

二、基础配置

1、配置hosts文件，方便hadoop用主机名访问

vi /etc/hosts

2、设置ssh免密码登录

1） 进入 ~ 根目录下的  .ssh 目录（没有的话，创建.ssh目录)

2） 执行ssh-keygen -t  rsa

3） ls  产生俩个文件(每台都要执行 )

id-rsa     #私钥  id-rsa.pub   #公钥

在每台服务器上将公钥复制到无需登录的服务器上，在每一台服务器上执ssh-copy-id的命令。

例如：

在192.168.12.109上执行

ssh-copy-id -i  ~/.ssh/id_rsa.pub root@192.168.12.122

ssh-copy-id -i  ~/.ssh/id_rsa.pub root@192.168.12.123

。。。。。

验证：

ssh slave1

3、关闭防火墙（centos 7）

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

4、安装jdk

1)设置环境变量  vi  /etc/profile  

  增加 export JAVA_HOME=/usr/local/jdk

       export HBASE_HOME=/usr/local/hbase

export HADOOP_HOME=/usr/local/hadoop

export ZOOKEEPER_HOME=/usr/local/zk

export

PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME/bin:

2)立即生效    source profile

三、zookeeper安装

1. zk服务器集群规模不小于3个节点（必须是奇数个），要求各服务器之间系统时间要保持一致。

2. 在节点的/usr/local目录下，解压缩tar -zxvf ###。

3. 设置环境变量 vi /etc/profile  增加ZOOKEEPER_HOME=~~~

   立即生效

Source /etc/profile

4. 在zk/conf目录下，重命名文件 mv zoo_sample.cfg  zoo.cfg

   编辑该文件，执行vi zoo.cfg

  修改dataDir=/usr/local/zk/data   ——————存放数据目录

  新增：zk节点=对应的hadoop节点

    Server.1=master1:2888:3888

（一个是通信端口，一个是选举端口）

    Server.2=master2:2888:3888 

   Server.3=slave1:2888:3888

。。。。。。

5 创建文件夹存放数据目录mkdir /usr/local/zk/data

6 在data目录下，创建文件myid，值为1

7 把zk目录复制到其他节点

8 把其他节点中相应的myid的值改为2

9 启动:

  在三个节点上分别执行命令(在zk/bin下执行)zkServer.sh start

 执行后bin下多了zookeeper.out(日志)

10 检验，在三个节点上分别执行命令zkServer.sh status (leader或者follower)

时间同步

# yum install -y ntp  #安装ntp服务

# ntpdate cn.pool.ntp.org  #同步网络时间

四、hadoop2.2安装

# 修改7个配置文件

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

~/hadoop-2.2.0/etc/hadoop/slaves

# 1修改hadoop-env.sh配置文件（jdk 路径）

exportJAVA_HOME=/usr/local/jdk

# 2修改core-site.xml文件修改 

<configuration>

       <property>

              <name>fs.defaultFS</name>

              <value> hdfs://mycluster </value>

       </property>

   <property>

              <name>hadoop.tmp.dir</name>

              <value>/usr/local/hadoop/tmp</value>

       </property>【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】 

       <property>

              <name>dfs.nameservices</name>

              <value>mycluster</value>

       </property>

【NameService实际就是HDFS集群的别名。使用federation时，可使用了多个HDFS集群。】 

       <property>

              <name>ha.zookeeper.quorum</name>

              <value>master1:2181,master2:2181,slave1:2181,slave2:2181,slave3:2181,slave4:2181,slave5:2181</value>

       </property>

【这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点】 

</configuration>

# 3修改hdfs-site.xml配置文件

<configuration>

       <property>

              <name>dfs.nameservices</name>

              <value> mycluster </value>

       </property>

       <property>

              <name>dfs.ha.namenodes.mycluster</name>

              <value>master1,master2</value>

       </property>

【指定NameService是mycluster时的namenode有哪些】 

       <property>

              <name>dfs.namenode.rpc-address.mycluster.master1</name>

              <value>master1:9000</value>

       </property>

【指定master1的RPC地址】

       <property>

              <name>dfs.namenode.rpc-address.mycluster.master2</name>

              <value>master2:9000</value>

       </property>

【指定master2的RPC地址】

       <property>

              <name>dfs.namenode.http-address.mycluster.master1</name>

              <value>master1:50070</value>

       </property>

【指定master1的http地址】

       <property>

              <name>dfs.namenode.http-address.mycluster.master2</name>

              <value>master2:50070</value>

       </property>

【指定master2的http地址】

       <property>

              <name>dfs.namenode.shared.edits.dir</name>

              <value>qjournal://master1:8485;master2:8485;slave1:8485;slave2:8485;slave3:8485/mycluster</value>

       </property>

【指定mycluster的两个NameNode共享edits文件目录时，使用的JournalNode集群信息】

      <property>

          <name>dfs.ha.automatic-failover.enabled.mycluster</name>

        <value>true</value>

    </property>

【指定mycluster是否启动自动故障恢复，即当NameNode出故障时，是否自动切换到另一台NameNode】

       <property>

              <name>dfs.client.failover.proxy.provider.mycluster</name>

       <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

       </property>

【指定mycluster出故障时，哪个实现类负责执行故障切换】 

       <property>

              <name>dfs.ha.fencing.methods</name>

              <value>sshfence</value>

       </property>

【一旦需要NameNode切换，使用ssh方式进行操作】 

       <property>

              <name>dfs.ha.fencing.ssh.private-key-files</name>

              <value>/root/.ssh/id_rsa</value>

       </property>

【如果使用ssh进行故障切换，使用ssh通信时用的密钥存储的位置】

       <property>

              <name>dfs.journalnode.edits.dir</name>

              <value>/usr/local/hadoop/tmp/journal</value>

       </property>

       <property>

              <name>dfs.replication</name>

              <value>3</value>

       </property>

【指定DataNode存储block的副本数量。默认值是3个，我们现在有7个DataNode，该值不大于7即可。】

       <property>

              <name>dfs.webhdfs.enabled</name>

              <value>true</value>

       </property>

</configuration>

# 4修改 mapred¬-site.xml配置文件

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

【指定运行mapreduce的环境是yarn，与hadoop1截然不同的地方】 

</configuration>

# 5修改yarn-env.sh配置文件

exportJAVA_HOME=/usr/local/jdk

【这里的JAVA_HOME的值是jdk的安装路径】

# 6修改yarn-site.xml配置文件 

<configuration>

        <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

       </property>

       <property>

              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

              <value>org.apache.hadoop.mapred.ShuffleHandler</value>

       </property>

       <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>master1</value>

       </property>

【自定ResourceManager的地址，还是单点，这是隐患】

</configuration>

# 7修改slaves配置文件

master1

master2

slave1

slave2

slave3

slave4

slave5

【指定所有的DataNode节点列表，每行一个节点名称】

五、启动集群

1、启动Zookeeper集群

在usr/local/zk/bin 目录下

执行启动命令：zkServer.sh start

# 验证Zookeeper是否启动成功1

查看状态命令：zkServer.sh status 

在 master1上查看 zookeeper 的状态发现是 leader

在其他的机器上查看 zookeeper 的状态发现是 follower

#验证Zookeeper是否启动成功2

在usr/local/zk/bin 目录下

执行进入命令行命令：

zkCli.sh

Connecting to localhost:2181

 [zk: localhost:2181(CONNECTED) 0] ls /

[zookeeper]

[zk: localhost:2181(CONNECTED) 1]

出现这样的提示的话，那么 zookeeper 就启动成功了

2、格式化ZooKeeper集群，目的是在ZooKeeper集群上建立HA的相应节点。

在usr/local/hadoop/bin 目录下

执行命令： hdfs zkfc -formatZK

# 验证zkfc是否格式化成功

进入客户端 zkCli.sh 

[zk: localhost:2181(CONNECTED) 1] ls /hadoop-ha 

[mycluster] 

【格式化操作的目的是在ZK集群中建立一个节点，用于保存集群c1中NameNode的状态数据】

3、完全分布式 启动Hadoop（切记顺序不能乱）

# 在 master1,master2,slave1,slave2,slave3上分别启动 journalnode

[root@master1sbin]# ./hadoop-daemon.sh start journalnode

# 在master1，master2上分别格式化和启动namenode

从 master1和 master2中任选一个即可，这里选择的是 master1

[root@master1sbin]# ../bin/hdfs namenode –format

[root@master1sbin]# ./hadoop-daemon.sh start namenode

# 将master1上namenode的数据同步到master2中去，需要在master2上执行hadoop的命令

[root@rs227 sbin]# ../bin/hdfs namenode -bootstrapStandby

[root@rs227 sbin]# ./hadoop-daemon.sh start namenode

# 打开浏览器，访问master1跟master2的50070端口

如果都能访问到，说明你 namenode 启动成功了，并且这两个 namenode 都是 standby 状态

# namenode （ master1）转换成 active （这里不需要手动将 namenode 转换为 active 状态了，因为我们是交给 Zookeeper 管理，在后面会启动 ZooKeeperFailoverController ）

# 启动所有的 datanodes（在master1上执行命令）

[root@master1sbin]# ./hadoop-daemons.sh start datanode

 [root@master1sbin]# jps

25627 Jps

24037 NameNode

25168 DataNode

23343 JournalNode

29367 QuorumPeerMain

# 实验一下手动切换 namenode 的状态 （这里也不需要做， Zookeeper 管理的，自动切换，下面会讲到）

# yarn启动

[root@master1sbin]# ./start-yarn.sh

starting yarn daemons

# 访问master1的8088端口查看ResourceManager的UI界面

# 启动ZooKeeperFailoverController

#在master1上执行命令

[root@master1sbin]# ./hadoop-daemon.sh start zkfc

#在master2上执行命令

[root@master2 sbin]# ./hadoop-daemon.sh start zkfc

# 打开浏览器，再访问master1跟master2的50070端口

发现 master1变成 active 状态了，而 master2还是 standby 状态

# 验证HDFS是否好用

[root@master1sbin]# ../bin/hadoop fs -putyarn-daemon.sh /yting

[root@master1sbin]# ../bin/hadoop fs -ls /yting

Found 1 items

-rw-r–r–   3root supergroup       4278 2014-06-1018:29 /yting/yarn-daemon.sh

# 验证YARN是否好用

[root@master1bin]# pwd

/usr/local/adsit/yting/apache/hadoop/hadoop-2.2.0/bin

[root@master1bin]# ./hadoop jar../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 10 100

…( 不重要的部分就省略了，能出这个值就是对的，虚拟机可能会卡着不动，也可能会卡死，属于正常现象，内存消耗比较大 )

Job Finished in 25.361 seconds

valueof Pi is 3.14800000000000000000

# 验证HA高可用性，是否自动故障转移

在master1节点active namenode上执行 jps ，确定namenode进程，kill 将其杀掉，之后刷新页面我们发现master2节点（原standy）自动变成了 active namenode。

六、安装hbase

按照上图下载正确的hbase版本（版本问题很重要，是很多错误的根源）

# Hbase-0.96.2-hadoop2（启动双HMaster的配置，master1是主HMaster，master2是从HMaster）

# 解压Hbase-0.96.2-hadoop2-bin.tar.gz

  tar -zxvfhbase-0.96.2-hadoop2-bin.tar.gz

# 修改hbase-env.sh 文件

 [root@master conf]# vi hbase-env.sh

export JAVA_HOME=/usr/local/jdk

export HBASE_MANAGES_ZK=false

# 配置hbase-site.xml 文件

<configuration>

       <property>

               <name>hbase.rootdir</name>

               <value>hdfs://mycluster/hbase</value> <!– 这里必须跟 core-site.xml 中的配置一样 –>

       </property>

       <property>

               <name>hbase.cluster.distributed</name>

               <value>true</value>

       </property>

       <property>

               <name>hbase.tmp.dir</name>

               <value>/usr/local/hbase/tmp</value>

       </property>

       <property>

               <name>hbase.master</name>

               <value>60000</value> # 这里是对的，只配置端口，为了配置多个 HMaster

        </property>

       <property>

               <name>hbase.zookeeper.quorum</name>

               <value>master1,master2,slave1,slave2,slave3,slave4,slave5</value>

       </property>

       <property>

               <name>hbase.zookeeper.property.clientPort</name>

                <value>2181</value>

       </property>

       <property>

               <name>hbase.zookeeper.property.dataDir</name>

               <value>/usr/local/zookeeper/data</value>

       </property>

</configuration>

# 配置regionservers

[root@master1conf]# vi regionservers

slave1

slave2

slave3

slave4

slave5

# 创建hdfs-site.xml的软连接

 [root@master1conf]# ln /usr/local/hadoop/etc/hadoop/hdfs-site.xml hdfs-site.xml

# 启动hbase

[root@master1hbase-0.96.2-hadoop2]# ./bin/start-hbase.sh

 [root@master1hbase-0.96.2-hadoop2]# jps

5131 Jps

4827 HRegionServer

4661 HMaster

6395 NodeManager

6272 DataNode

29849 QuorumPeerMain

# hbase shell 验证 1（查看hbase的版本跟状态）

hbase(main):003:0> list  # 刚刚创建的表

hbase(main):004:0> version

0.96.2-hadoop2, r1581096, Mon Mar 24 16:03:18 PDT2014

hbase(main):005:0> status

5 servers, 0 dead, 0.8000 average load

# hbase shell 验证 2（建表插入数据获取数据实时）

hbase(main):006:0> create’test’,’id’,’info’

0 row(s) in 0.4706 seconds

=> Hbase::Table – test

hbase(main):007:0> put’test’,’1314520′,’info:yousmile’,’forever’

hbase(main):008:0> get ‘test,’1314520’

hbase(main):009:0> scan ‘test’                                  

# 在master2上启动HMaster

[root@master2 bin]# ./hbase-daemon.sh start master

# 验证HMaster自动切换

# rs227上的日志查看

2014-07-03 15:43:47,798 INFO  [master:rs227:60000] mortbay.log: StartedSelectChannelConnector@0.0.0.0:60010

2014-07-03 15:43:47,897 INFO  [master:rs22760000]zookeeper.RecoverableZooKeeper: Node /hbase/master already exists and this isnot a retry

2014-07-03 15:43:47,898 INFO  [master:rs227:60000]master.ActiveMasterManager: Adding ZNode for/hbase/backup-masters/rs227,60000,1402645426368 in backup master directory

2014-07-03 15:43:47,908 INFO  [master:master2:60000] master.ActiveMasterManager:Another master is the active master, rs229,60000,1402645371520; waiting tobecome the next active master

这里说明zookeeper已经接管了，并且把master2作为一个备份的Hbase了，并且这里提示

waiting to become thenext active master （等待变成下一个活动的master），然后我们可以将master1上的hmaster进程给kill掉，当然，也可以使用 ./hbase-daemon.shstop master 来结束master1上的hmaster进程

只看红色标注的地方，意思就是说当我们 kill 掉 master1上的 hmaster 的时候， Nomaster available. Notifying waiting threads . A master is now available （找不到 master，唤醒等待的 hmaster 线程（认识 96 ），然后找到了等待的 hmaster （ master2）），然后 zookeeper 就接管并且将 master2上的 hmaster 从 等待 状态切换为 激活 状态了，然后就 ok 了。（当然也可以多开几个备用的 hmaster ）