zookeeper-3.4.10的安装配置

2019年6月9日 189次阅读 来源: CoderJed

介绍zookeeper-3.4.10的安装配置

1. 环境准备

2.角色说明

  • hadoop01：leader或follower
  • hadoop02：leader或follower
  • hadoop03：leader或follower
  • hadoop04：observer

leader：能接收所有的读写请求，也可以处理所有的读写请求，而且整个集群中的所有写数据请求都是由leader进行处理
follower：能接收所有的读写请求，但是读数据请求自己处理，写数据请求转发给leader
observer：跟follower的唯一的区别就是没有选举权和被选举权
因为hadoop01、hadoop02和hadoop03具有选举权，所以它们的角色是变化的，当leader宕机，会重新选举leader，而hadoop04的角色是observer，所以它没有选举和被选举权，只负责处理请求
要求：整个zookeeper集群中可以参与选举的节点的个数为奇数个，因为zookeeper的选举机制为半数机制，即超过一半的节点投票给某个节点，该节点就是新的leader

3. 步骤

(1) 上传到服务器并解压

tar -zxvf zookeeper-3.4.10.tar.gz

(2) 配置环境变量，加入ZOOKEEPER_HOME

vim ~/.bash_profile

# 加入内容
export ZOOKEEPER_HOME=/home/hadoop/apps/zookeeper-3.4.10
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# 别忘了source
source ~/.bash_profile

(3) 配置zoo.cfg文件

  • 进入ZOOKEEPER_HOME/conf目录
  • 复制zoo_sample.cfg文件为zoo.cfg：cp zoo_sample.cfg zoo.cfg
  • 编辑zoo.cfg文件，如下
vim zoo.cfg

# 集群各节点的心跳时间间隔，保持默认即可(2s)
tickTime=2000

# 此配置表示，允许follower连接并同步到leader的初始化连接时间
# 它以tickTime的倍数来表示
# 当超过设置倍数的tickTime时间，则连接失败
# 保持默认即可(10次心跳的时间，即20s)
initLimit=10

# follower与leader通信，从发送请求到接收到响应的等待时间的最大值，保持默认即可，即10s
# 如果10s内没有收到响应，本次请求就失败
syncLimit=5

# zookeeper的数据存放的位置，默认是/tmp/zookeeper，一定要改，因为tmp目录会不定时清空
dataDir=/home/hadoop/zkdata

# 客户端连接的端口号，保持默认即可
clientPort=2181

# 以下内容手动添加
# server.id=主机名:心跳端口:选举端口
# 注意：这里给每个节点定义了id，这些id写到配置文件中
# id为1-255之间的任意的不重复的数字，一定要记得每个节点的id的对应关系
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
server.4=hadoop04:2888:3888:observer

(4)同步配置

我是在hadoop01节点中进行解压配置的，所以分发给其他3个节点

scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop02:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop03:/home/hadoop/apps/
scp -r /home/hadoop/apps/zookeeper-3.4.10 hadoop04:/home/hadoop/apps/

给其他节点配置ZOOKEEPER_HOME环境变量

(4)在配置的dataDir目录下新建myid文件，并写入id

我配置的dataDir=/home/hadoop/zkdata，所以：

mkdir -p /home/hadoop/zkdata
cd /home/hadoop/zkdata
# echo 命令会先创建文件再写入
echo 1 > myid

注意：我配置的集群id信息为：
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
server.4=hadoop04:2888:3888:observer
那么，在hadoop01的dataDir下的myid文件中的id就是1，hadoop02的dataDir下的myid文件中的id就是2，以此类推，一定要与配置文件中的配置相对应!

(5) 启动集群并验证

启动集群(每个节点都要启动)

zkServer.sh start

查看每个节点的状态

zkServer.sh status

hadoop01、hadoop02、hadoop03的角色一定是leader或者follower，hadoop04一定是observer

《zookeeper-3.4.10的安装配置》 zookeeper集群安装配置成功

至此，zookeeper集群安装配置成功!

(6)说明

给节点配置的id为1-255之间的一个数字，那么当zookeeper集群的数量超过255怎么办？
答：zookeeper集群的性能会随着节点数的增多达到峰值，再增加节点数量，性能会急剧下降，通常来说，超过20多台节点后性能就会下降，所以，即使可以一直给节点编号，也不建议在zookeeper集群中配置太多的节点。

4. 2019-04-29 更新-修改zookeeper日志文件的保存路径

  • 修改$ZOOKEEPER_HOME/bin/zkEnv.sh文件
# 在这里定义存放日志文件的目录
ZOO_LOG_DIR="/opt/beh/logs/zookeeper"
if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="."
fi

# 将
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,CONSOLE"
fi

# 改为：
if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
  • 修改$ZOOKEEPER_HOME/conf/log4j.properties文件
zookeeper.root.logger=INFO, ROLLINGFILE
zookeeper.console.threshold=INFO
zookeeper.log.dir=/opt/beh/logs/zookeeper
zookeeper.log.file=zookeeper.log
zookeeper.log.threshold=DEBUG
zookeeper.tracelog.dir=/opt/beh/logs/zookeeper
zookeeper.tracelog.file=zookeeper_trace.log

log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.ROLLINGFILE.Threshold=${zookeeper.log.threshold}
log4j.appender.ROLLINGFILE.File=${zookeeper.log.dir}/${zookeeper.log.file}
log4j.appender.ROLLINGFILE.MaxFileSize=512MB
log4j.appender.ROLLINGFILE.DataPattern='.'yyyy-MM-dd
log4j.appender.ROLLINGFILE.Threshold=info
log4j.appender.ROLLINGFILE.encoding=UTF-8
log4j.appender.ROLLINGFILE.layout.ConversionPattern=[%d{yyyy-MM-dd HH\:mm\:ss}]%-5p %c(line\:%L) %x-%m%n
#log4j.appender.ROLLINGFILE.MaxBackupIndex=10
log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout
  • 修改$ZOOKEEPER_HOME/bin/zkServer.sh文件
_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.out"
修改为：
_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.log"
    原文作者：CoderJed
    原文地址: https://www.jianshu.com/p/5a4d7390bbfd
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞