Zookeeper应用：hadoop的HA简单实现

2019年6月8日 270次阅读 来源: dodo_lihao

hadoop的HA简单说明

hadoop的HDFS集群的分布式存储是靠NameNode节点（namenode负责响应客户端请求）来实现。NameNode对应整个hadoop来说，无非是很重要的。
在非HA集群中一旦NameNode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然是不可行的。
但是，如果有2个NameNode同时响应，肯定会产生数据混乱。也就是brain split(脑裂)。所以我们一般不会采用主主模式（active/active模式），而会采用主备模式（active/standby模式）
这样，一旦active节点宕机，standby节点立即切换到active模式。

简单说明

我们知道，NameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。由于NameNode的重要性，很多处理包括合并信息都会交给SecondaryNameNode去做，就算这样，NameNode还是可能会宕机

Zookeeper作用

hadoop1.x，由于只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1.x中的单点问题。
在hadoop2.x中，如图

《Zookeeper应用：hadoop的HA简单实现》 hadoop的HA实现

这里可以通过共享存储，来在两个NN间同步edits信息，会存储在Journal Node中
具体NN的存活状态，通过FailoverController通过Heartbeat心跳来反馈给ZooKeeper，从而放置Hadoop脑裂的产生，并且当active的NN倒掉后，standby的NN马上变成active状态，替代对应的功能。

简单测试

这里自己用的6台机器做测试
大致如下：

ha01
    ZooKeeper
    NN（active）
    ResourceManager（active）
ha02
    ZooKeeper
    NN（standby）
ha03
    ZooKeeper
    ResourceManager（standby）
ha04
    DN
    NodeManager
    JournalNode
ha05
    DN
    NodeManager
    JournalNode
ha06
    DN
    NodeManager
    JournalNode

具体的搭建，包括hosts，免密登录，ZooKeeper集群及配置，hadoop集群及配置，略

具体测试
我们可以在2台NN的50070端口浏览器页面，看见对应NN的状态，分别是active和standby的
我们手动kill掉active的NN，这个时候，可以发现standby的NN变成类active的。
我们再次启动kill掉的NN，发现会变成standby的状态

ResourceManager同理，不说明了

    原文作者：dodo_lihao
    原文地址: https://www.jianshu.com/p/20f1ec9e1d6d
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞