新增一个HDFS的DataNode节点 | 干货笔记-OpenSkill-大不六文章网(wtoutiao.com) http://www.wtoutiao.com/p/Z24iFG.html

场景
在hadoop中的分布式文件系统hdfs中，当存储节点磁盘使用达到预警值是，我们需要新增一个数据存储节点，来存储数据！
新增方法：
静态添加
动态添加
静态添加
静态新增的方式，就是相当于我们起初部署hdfs集群规划一样，停止NameNode，新增一个DateNode数据节点，这种方法不适用于线上提供服务的场景，具体操作如下：

1、停止NameNode节点

cd hdfs_install_dir/sbin/

./hadoop-deamon.sh stop namenode

2、修改配置文件slaves文件，并修改/etc/hosts记录把新增的节点对应的ip和hostname追加到各节点

cd hdfs_install_dir/etc/hadoop/

echo “new_datanode_hostname” >> ./slaves

echo “new_datanode_ip new_datanode_hostname” >> /etc/hosts

然后再利用rsync 同步配置文件和hosts文件，到各节点

3、确保Hadoop/HDFS集群的NameNode可以对新节点进行SSH免密码登录。

4、重新启动NameNode节点

5、如果你希望各数据节点磁盘使用量达到一个相对平衡的状态，就是百分比，你还需要执行hadoop balance命令，后面会具体讲到！

动态添加
动态添加，不需要停止启动NameNode节点，具体步骤如下：

1、修改所有hdfs集群机器的配置文件slaves文件，并修改/etc/hosts记录把新增的节点对应的ip和hostname追加到各节点

cd hdfs_install_dir/etc/hadoop/

echo “new_datanode_hostname” >> ./slaves

echo “new_datanode_ip new_datanode_hostname” >> /etc/hosts

如果你使用ansible管理的话，hdfs集群的集群做一个叫hdfs的分组，两条命令搞定：

ansible hdfs -m shell -a ‘echo “new_datanode_hostname” >> hdfs_install_dir/etc/hadoop/slaves’

ansible hdfs -m shell -a ‘echo “new_datanode_ip new_datanode_hostname” >> /etc/hosts’

这样所有的节点slaves文件和host文件都更新了！

2、启动新增的datanode节点

cd hdfs_install_dir/sbin

./hadoop-daemon.sh start datanode

3、查看是否正常加入到集群
web查看方式：http://NameNode_ip:50070/dfsnodelist.jsp?whatNodes=LIVE
命令查看方式：cd hdfs_install_dir/bin/ && ./hadoop dfsadmin -report

4、数据再平衡
添加新节点时，HDFS不会自动重新平衡。然而，HDFS提供了一个手动调用的重新平衡（reblancer）工具。这个工具将整个集群中的数据块分布调整到一个可人工配置的百分比阈值。如果在其他现有的节点上有空间存储问题，再平衡就会根据阀值，然后平衡分布数据。

执行再平衡命令，可选参数-threshold指定了磁盘容量的余量百分比，用来判定一个节点的磁盘利用率是过低还是过高。一个利用不足的数据节点其利用率低于平均利用率−阈值。过度利用的数据节点其利用率高于平均利用率+阈值。该参数设置的越小，整个集群越平衡，但会花费更多的时间进行再平衡操作。默认阈值为10％。平衡执行命令如下：

cd hdfs_install_dir/sbin/

./start-balancer.sh –threshold 5

-threshold参数就是是指定平衡的阈值。
-threshold的默认是10，即每个datanode节点的实际hdfs存储使用量/集群hdfs存储量

具体解释例子如下：
datanode hdfs使用量1000G；
集群总hdfs存储量10T即10000G；
则t值为1000/10000 = 0.1；
当执行balance的-t参数小于0.1时，集群进行balance；
命令为：start-balancer.sh -threshold 0.1

标注知识点
1、 balance命令可以在namenode或者datanode上启动，也可以随时利用stop-balance.sh脚本停止平衡！

2、balance的默认带宽是1M/s。 如果你希望修改平衡数据的带宽大小可以用./hdfs dfsadmin -setBalancerBandwidth 124288000命令指定

3、slave文件是用于重启时使用。集群的start和stop需要读取slave文件。启用datanode时只要在hdfs-site中配置了namenode位置，就可以将信息push给namenode。 这就是为什么slaves文件很重要的原因。