zookeeper
简介
Apache ZooKeeper是一个开发和维护开源服务器的框架,它使高度可靠的分布式协调成为可能。
ZooKeeper可以提供集中服务,用于维护配置信息,命名,提供分布式同步和提供组服务。 所有这些类型的服务都以某种形式被分布式应用程序使用。 每次实施时,都有很多工作要解决一些不可避免的错误和竞争条件。 由于实施这些服务是有困难的,最初的应用程序通常会吝啬,这使得它们变得脆弱,难以管理。 即使正确完成,这些服务的不同实现会导致应用程序部署时的管理复杂性。
ZooKeeper是分布式应用程序的高性能协调服务。 它在一个简单的界面中公开了常见的服务,如命名,配置管理,同步和组服务,所以你不必从头开始编写它们。 您可以现成使用它来实现共识,小组管理,leader选举和presence协议。 而且您可以根据自己的具体需求进行构建。
ZooKeeper提供的常见服务如下 :
- 命名服务 – 按名称标识集群中的节点。它类似于DNS,但仅对于节点。
- 配置管理 – 加入节点的最近的和最新的系统配置信息。
- 集群管理 – 实时地在集群和节点状态中加入/离开节点。
- 选举算法 – 选举一个节点作为协调目的的leader。
- 锁定和同步服务 – 在修改数据的同时锁定数据。此机制可帮助你在连接其他分布式应用程序(如Apache HBase)时进行自动故障恢复。
- 高度可靠的数据注册表 – 即使在一个或几个节点关闭时也可以获得数据。
ZooKeeper特性
- ZooKeeper是简单的:zookeeper的核心是一个精简的文件系统,它提供一些简单的操作和一些额外的抽象操作。
- ZooKeeper是富有表现力的:zookeeper的基本操作是一组丰富的“构件”,可用于实现多种协调数据结构和协议。
- ZooKeeper具有高可用性:zookeeper运行于一组机器之上,并且在设计上具有高可用性,因此应用程序可以完全依赖于它。
- ZooKeeper采用松耦合交互方式:在zookeeper支持的交互过程中,参与者不需要了解彼此。
- ZooKeeper是一个资源库:zookeeper提供了一个通用协调模式实现方法的开源共享库,使程序员免于编写这类通用的协议。
下载,安装
wget http://mirrors.shuosc.org/apache/zookeeper/stable/zookeeper-3.4.10.tar.gz
tar -zxvf zookeeper-3.4.10.tar.gz
配置
单节点模式
cd zookeeper-3.4.10/conf
vim zoo.cfg #创建一个配置文件
在该文件中写入下面几项:
tickTime=2000 #zookeeper中使用的基本时间单位, 毫秒值.
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log #该参数若不配置,则日志目录和dataDir配置相同
clientPort=2181 #监听client连接的端口号.
参数配置可以在conf/zoo_sample.cfg
中看到。
分布式模式
在该文件中写入下面几项:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log
clientPort=2181
server.130=192.168.213.130:2888:3888
server.131=192.168.213.131:2888:3888
server.132=192.168.213.132:2888:3888
server.X=A:B:C 其中X是一个数字, 表示这是第几号server,可以随意写,但必须不相同. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口.
最后在dataDir目录下新建一个myid文件,并对应着写入 X 的值。
echo "130" > /tmp/zookeeper/data/myid #192.168.213.130服务器
echo "131" > /tmp/zookeeper/data/myid #192.168.213.131服务器
echo "132" > /tmp/zookeeper/data/myid #192.168.213.132服务器
启动
执行命令(集群中每台服务器都需要执行下面命令):
bin/zkServer.sh start
通过命令netstat -tupln
查看这几个端口是否启动成功。
也可以通过命令jps
查看是否有ZooKeeper服务器进程,名称为QuorumPeerMain。
我们也可以使用nc
(telnet也可以)发送ruok命令(are you ok?)到监听端口,检查zookeeper是否正在运行:
echo ruok | nc localhost 2181
imok
如果启动不成功,可以查看日志zookeeper.out内容,最常见的问题可能是主机名与IP地址映射配置问题
出现连接超时等错误,可以通过修改/etc/hosts
文件中主机名对应的ip,修改为127.0.0.1或者是ipv4静态地址,重启就可以解决问题。出现nohup: failed to run command ‘java’: No such file or directory错误,解决办法是在bin/zkServer.sh文件中添加jdk的安装路径,例如:
export JAVA_HOME=/usr/lib/jdk
export PATH=$JAVA_HOME/bin:$PATH
在客户端连接ZooKeeper服务器,执行如下命令:
bin/zkCli.sh -server 192.168.213.130:2181
在光标处可以输入help
查看Zookeeper客户端可以使用的基本操作命令,输入quit
退出。
最后可以通过ZooKeeper的脚本来查看启动状态,包括集群中各个结点的角色(或是Leader,或是Follower),命令如下:
bin/zkServer.sh status
zookeeper官方文档http://zookeeper.apache.org/doc/trunk/zookeeperStarted.html
开机启动
cd /etc/rc.d/init.d/
touch zookeeper
chmod +x zookeeper
vim zookeeper
#!/bin/bash
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper
case $1 in
start) su root /opt/zookeeper-3.4.14/bin/zkServer.sh start;;
stop) su root /opt/zookeeper-3.4.14/bin/zkServer.sh stop;;
status) su root /opt/zookeeper-3.4.14/bin/zkServer.sh status;;
restart) su root /opt/zookeeper-3.4.14/bin/zkServer.sh restart;;
*) echo "require start|stop|status|restart" ;;
esac
#保存退出
chkconfig --add zookeeper #把zookeeper添加到开机启动里面
chkconfig --list #查看添加的zookeeper是否在里面
service zookeeper start/stop/status #启动、停止、查看服务状态命令
END