Zookeeper有三种运行模式:单机模式、伪集群模式和集群模式。注意的是一般zookeeper集群由3~5台服务器组成,即2n+1台机器,至少是2台。
注意点:
#server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,此端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。2888端口是zookeeper服务相互通信使用的,3888端口是zookeeper服务选举使用的。
{{:文档:运维:软件安装配置:pasted:20180605-090342.png}}
{{:文档:运维:软件安装配置:pasted:20180605-090353.png}}
{{:文档:运维:软件安装配置:pasted:20180605-090403.png}}
如果出现Error contacting service. It is probably not running的错误的时候,一般情况下问题存在于防火墙开启的原因,关闭防火墙就可以了。CentOS 7默认使用的是firewall作为防火墙,使用iptables必须重新设置一下。
一、监控
1.ZooKeeper监控要点
(1)系统监控
内存使用量 ZooKeeper应当完全运行在内存中,不能使用到SWAP。Java Heap大小不能超过可用内存。
Swap使用量 使用Swap会降低ZooKeeper的性能,设置vm.swappiness = 0
网络带宽占用 如果发现ZooKeeper性能降低关注下网络带宽占用情况和丢包情况,通常情况下ZooKeeper是20%写入80%读入
磁盘使用量 ZooKeeper数据目录使用情况需要注意
磁盘I/O ZooKeeper的磁盘写入是异步的,所以不会存在很大的I/O请求,如果ZooKeeper和其他I/O密集型服务公用应该关注下磁盘I/O情况
(2)ZooKeeper监控
zk_avg/min/max_latency 响应一个客户端请求的时间,建议这个时间大于10个Tick就报警
zk_outstanding_requests 排队请求的数量,当ZooKeeper超过了它的处理能力时,这个值会增大,建议设置报警阀值为10
zk_packets_received 接收到客户端请求的包数量
zk_packets_sent 发送给客户单的包数量,主要是响应和通知
zk_max_file_descriptor_count 最大允许打开的文件数,由ulimit控制
zk_open_file_descriptor\count 打开文件数量,当这个值大于允许值得85%时报警
Mode 运行的角色,如果没有加入集群就是standalone,加入集群式follower或者leader
zk_followers leader角色才会有这个输出,集合中follower的个数。正常的值应该是集合成员的数量减1
zk_pending_syncs leader角色才会有这个输出,pending syncs的数量
zk_znode_count znodes的数量
zk_watch_count watches的数量
Java Heap Size ZooKeeper Java进程的
2. 监控原理描述
安装依赖包
yum install -y nc
yum install -y zabbix-sender
使用命令查看参数:
echo ruok|nc 127.0.0.1 2181
{{:文档:运维:软件安装配置:pasted:20180605-090915.png}}
echo mntr|nc 127.0.0.1 2181
{{:文档:运维:软件安装配置:pasted:20180605-090927.png}}
echo srvr|nc 127.0.0.1 2181
{{:文档:运维:软件安装配置:pasted:20180605-090939.png}}
二、集群安装
1.环境准备
准备三台Centos 7 系统的服务器,IP配置分别为:192.168.1.116、192.168.1.117、192.168.1.118
2.安装
1.安装JDK
rpm -qa | grep java
用yum 安装openjdk 1.8 版本
yum -y install java-1.8.0-openjdk*
安装完成后进行环境变量设置:
Vim /etc/profile
在末尾添加:
ZOOKEEPER_HOME=/usr/local/zookeeper
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
CLASSPATH=/usr/lib/jvm/java-1.8.0-openjdk/lib/dt.jar:/usr/lib/jvm/java-1.8.0-openjdk/lib/tools.jar
PATH=/usr/lib/jvm/java-1.8.0-openjdk/bin:$PATH:/usr/local/zookeeper/bin
export PATH JAVA_HOME CLASSPATH ZOOKEEPER_HOME
使得环境变量生效
source /etc/profile
2.zookeeper主机域名映射,配置hosts文件
vim /etc/hosts
添加如下信息
192.168.1.116 LG-V-1-116
192.168.1.117 LG-V-1-117
192.168.1.118 LG-V-1-118
3.源码安装集群
从官网https://zookeeper.apache.org/ 下载最新的稳定版本,在此下载zookeeper-3.4.12.tar.gz版本。
(1)源码解压安装:
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /usr/local/zookeeper
cd /usr/local/zookeeper
cd conf
cp zoo_simple.cfg zoo.cfg
vim zoo.cfg
进入zookeeper的conf子文件夹。/conf/zoo_sample.cfg文件复制一份,并更名为zoo.cfg。增加server节点。
server.1=192.168.1.116: 2888:3888
server.2=192.168.1.117: 2888:3888
server.3=192.168.1.118: 2888:3888
server.A=B:C:D 其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址(如果做了域名映射为域名);C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
(2)zookeeper识别文件创建。创建myid文件
在dataDir目录下创建一个myid文件,然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值,在不同机器上的该文件中填写相应的值。例如server.1 在当前机器的myid中就只写上1就可以了
echo "1" >> /usr/local/zookeeper/data/myid
(3)Zookeeper配置拷贝到另外一台机器
在另外两台机器上使用用scp命令远程拷贝当前Zookeeper文件夹。然后配置对应的环境变量和hosts映射。注意修改myid文件的值为2和3。
(4)Zookeeper启动验证
进入bin目录执行命令“zkServer.sh start”启动Zookeeper。不同机器上的Zookeeper需要单独启动。执行命令“zkServer.sh stop”将会停止Zookeeper。
(5)zookeeper当前状态查看
进入bin目录执行命令“zkServer.sh status”
(6)停止:
bin/zkServer.sh stop
(7)连接:
bin/zkCli.sh -server zookeeper1:2181
bin/zkCli.sh -server zookeeper2:2181
bin/zkCli.sh -server zookeeper3:2181
4.增加一个节点
安装方法同上,就是myid文件 内容不一样。
注意:
当新增加的节点的配置文件zoo.cfg 中多了节点信息,而原来的集群节点信息中没有增加对应内容时,在异常结束主节点(Leader)后,集群Leaders能正常切换到其它节点,但新节点就不能正常工作,查看status 时发现新节点没有状态。
需要将zookeeper 停掉,然后重新启动,才能重新加入(实际上这种是有问题的,数据会不一致)
三、监控部署
目前部署的zookeeper 的监控是一个单独的模板,包括基础监控和客户端的存取值监控。Zookeeper的监控模板如下:
相关的监控脚本如下:
监控需要python 的客户端,则进行zookeeper的python客户端安装:
(1)python客户端依赖c的客户端,所以要先安装c版本的客户端,在服务器上执行如下:
cd /usr/local/zookeeper/src/c
./configure
Make
Make install
测试c客户端:
./cli_mt localhost:218
(2)下载python扩展包,并且解压安装
tar zxvf zkpython-0.4.2.tar.gz
cd zkpython-0.4.2
python setup.py install
注意:如果安装时提示找不到Python.h,可能由于没有安装python-devel。则:yum -y install python-devel
安装完成后运行zclient_my.py 脚本进行测试,如果测试时提示找不到libzookeeper_mt.so.2,则需要将libzookeeper_mt.so.2的路径加入到LD_LIBRARY_PATH中。即:export LD_LIBRARY_PATH=/usr/local/lib 同时在/etc/profile 文件中添加。
注意:部分服务器在运行python setup.py install 的时候就会报错,如下:
则需要下载setuptools-0.6c11.tar.gz 进行解压安装,安装重新安装:
tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py install
参考文献:
https://blog.csdn.net/liuxinghao/article/details/42747625 ZooKeeper介绍及典型使用场景
https://blog.csdn.net/jssg_tzw/article/details/73088637
https://blog.csdn.net/robertohuang/article/details/64482599
https://blog.csdn.net/m290345792/article/details/52576890