新增节datanode点到Hadoop集群

2023年1月3日 185次阅读 来源: lycium

新增节点系统要求

1.CentOS7

2.Java8(任意现有节点/root目录下均有，建议保持一致jdk-8u71-linux-x64.rpm)

rpm -Uvh jdk-8u71-linux-x64.rpm

切换正确版本

alternatives --config java

3.创建hadoop账户，并指定账户目录

useradd -d /usr/hadoop hadoop  #用户家目录设置为/usr/hadoop
chmod 755 /usr/hadoop 
passwd hadoop  #设置用户密码

4.其他配置参见，对于新增数据节点不需关注

http://www.jianshu.com/p/1b0ef092bc08

新增datanode节点，并启动

1.配置/etc/hosts加入新节点，copy至各个节点

192.168.1.231 hadoop-namenode
192.168.1.232 hadoop-datanode-1
192.168.1.233 hadoop-datanode-2
192.168.1.234 hadoop-datanode-3
192.168.1.235 hadoop-datanode-4

2.设置namenode到new datanode的免key登陆

ssh-copy-id hadoop-datanode-4

3.配置namenode上的$HASOOP_HOME/etc/hadoop/slave,新增数据节点

hadoop-datanode-1
hadoop-datanode-2
hadoop-datanode-3
hadoop-datanode-4

4.copy 一份数据节点的hadoop/hbase配置到新节点

参照http://www.jianshu.com/p/1b0ef092bc08，查看相关配置

5.在new datanode节点执行以下命令，启动datanode,nodemanager(YARN)

$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
$HADOOP_HOME/sbin/yarn-daemons.sh start nodemanager
hdfs dfsadmin -refreshNodes

6.查看配置是否生效

http://192.168.1.231:50070(hadoop)
http://192.168.1.231:8088 (yarn)

Hbase存储节点新增配置

1.copy一份hbase存储节点的配置至新节点

2.修改Master中hbase-site.xml($HADOOP_HOME/hbase-1.2.4/conf/hbase-site.xml),将新增节点hostname加入zookeeper管理

...
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop-namenode,hadoop-datanode-1,hadoop-datanode-2,hadoop-datanode-3,hadoop-datanode-4</value>
</property>
...

3.修改新节点/usr/local权限,zookeeper默认配置目录

chmod -R 777 /usr/local

4.执行以下命令启动hbase存储节点和管理zookeeper

$HADOOP_HOME/hbase-1.2.4/bin/hbase-daemon.sh start regionserver
$HADOOP_HOME/hbase-1.2.4/bin/hbase-daemon.sh start zookeeper

5.查看hbase配置是否生效

http://192.168.1.231:16010

关于预处理程序配置

需在236节点/etc/hosts上添加新的数据节点

...
192.168.1.235 hadoop-datanode-4

FAQ:
集群节点间时间要统一

    原文作者：lycium
    原文地址: https://www.jianshu.com/p/5d19149bf93c
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞