kafka、zookeeper集群搭建

前期准备

在root目录下建立program文件夹,用于存放所需的软件。并在program下建立data文件夹,data中建立zookeeperData

1、zookeeper集群搭建

(1)官方下载zookeeper的包,可点击这里进行跳转,本教程采用zookeeper-3.4.12版本。

(2)下载后解压至root/program

(3)进入解压后的${zookeeperHome}/conf,复制zoo_sample.cfg文件,并命名为zoo.cfg

(4)编辑zoo.cfg文件

       此文件需要修改dataDir,本文采用 /root/program/data/zookeeperData路径

       新增server.x,其中x为任意数字,根据服务器的数量可增加多条。假设服务器有三台,可进行如下设置

       server.1=host1:2888:3888

       server.2=host2:2888:3888

       server.3=host3:2888:3888

       其中2888为zookeeper之间的通讯端口,3888为选举端口,若不想采用此端口可自行更换,保证每台服务器中server.x配置相同即可。

      保存并退出

(5)在dataDir文件夹下创建myid文件,并将本机server.x中的x的数字写入myid,保存退出

(6)进行完以上操作后,将以上zookeeper文件夹复制到其他主机相应位置,linux中可采用scp命令进行文件传输,文件放置好后将myid中的数字改为对应服务器中的数字,其余无需改动。

(7)启动zookeeper

        分别在每台机器进行启动,启动命令为${zookeeperHome}/bin/zkServer.sh start

        启动后通过jdk自带工具jps查看,出现QuorumPeerMain表示启动成功,若启动失败可查看${zookeeperHome}/zookeeper.out日志文件进行排错

2、kafka集群搭建

(1)官方下载kafka安装包,点击这里进行跳转,本教程采用kafka_2.11-1.1.0版本

(2)下载后解压至root/program

(3)进入${kafkaHome}/config目录,修改server.properties文件

        修改broker.id,任意数字,在集群中唯一即可

        log.dirs指定为/root/program/data/kafkaData

        zookeeper.connect(kafka安装包中自带zk,此教程采用上述自己配置的zk)可设置多台,以逗号分隔,例如zkHost1:2181,zkHost2:2181,zkHost3:2181

        其余配置采用默认配置,如有需要可自行修改。

(4)复制配置好的kafka文件夹至相应位置,修改broker.id,其余配置不变

(5)启动kafka

        ${kafkaHome}/bin/kafka-server-start.sh  ${kafkaHome}/config/server.properties

        可使用jps进行查看,会发现带有kafka字样的进程

注意:因为配置了zookeeper作为kafka的协调,需要先成功启动zookeeper。

以上配置过程没有什么特别需要注意的地方,若访问可考虑是否为防火墙问题。

    原文作者:好多鱼2018
    原文地址: https://www.jianshu.com/p/d36eb52dbef4
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞