Hadoop集群安装
配置三台主机(每台主机都需要配置)
修改IP
使用
vi /etc/sysconfig/network-scripts/ifcfg-xx
不同的机器可能不同修改三台主机ipaddr地址如下
192.168.200.101 master 192.168.200.102 slave1 192.168.200.103 slave2
可以根据实际情况修改,但需要保持三台主机之间能够ping通
修改后需要重启网络配置
systemctl restart network
修改主机名
hostname set-hostname master hostname set-hostname slave1 hostname set-hostname slave2
修改主机名后重启或者退出,重新登录
修改host
在
vi /etc/hosts
中添加如下192.168.200.101 master 192.168.200.102 slave1 192.168.200.103 slave2
安装JDK
参考linux安装jdk
配置免密
在master主机上执行
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将公钥发送到slave1和slave2
ssh-copy-id -i slave1 ssh-copy-id -i slave2
安装hadoop(详细安装过程见hadoop伪分布式搭建)
这一步我们先在master主机上配置完成之后,再发送到其他两个台主机上
上传hadoop安装包
解压
tar -zxvf hadoop-2.8.5.tar.gz
修改
hadoop-env.sh
中的JAVA_HOME
路径配置
core-site.xml
,修改入口和存储位置默认副本数为3,这里就不需要配置副本数了
在salves文件中加入DataNode的主机名(一行一个)
将
HADOOP_HOME
加入到系统环境变量(注意生效环境变量)发送到hadoop到其他主机
scp -r hadoop-2.8.5 root@slave1:`pwd`/ scp -r hadoop-2.8.5 root@slave2:`pwd`/
这里的命令是将master主机上的hadoop文件夹发送到slave主机的相同目录下
启动
- 首次启动只需要在master主机上进行格式化
hdfs namenode -format
- 只需要在master主机上启动
start-dfs.sh