kafka集群配置(三台机器)

前提:kafka基于zookeeper配置

解压安装包

###将压缩包压缩到指定位置

tar -zxvf kafka_2.11-1.01.tgz -C /usr/local/src/

改名

mv kafka_2.11-1.0.1 kafka

修改环境变量

##只对root用户生效

vim /root/.bash_profile


##kafka
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分发环境变量

scp /root/.bash_profile slave1:/root/.bash_profile
scp /root/.bash_profile slave2:/root/.bash_profile

##激活环境变量
source /root/.bash_profile

配置kafka配置文件

cd /usr/local/src/kafka/config

vim server.properties

##修改broker.id为整数三台服务器不能一样
borker.id=1
delete.topic.enable=true

##修改路径
log.dirs=/usr/local/src/kafka/logs

##修改主机名:端口号
zookeeper:connect=master:2181,slave1:2181,slave2:2181

分发kafka文件

scp -r /usr/local/src/kafka slave1:/usr/local/src/
scp -r /usr/local/src/kafka slave2:/usr/local/src/


##分别修改slave1和slave2的broker.id
slave1   borker.id=2
slave2   borker.id=3

启动服务

##退回到kafka文件夹下

kafka-server-start.sh -daemon config/server.properties

查看服务

jps

1)查看当前服务器中的所有topic

 bin/kafka-topics.sh --zookeeper master:2181 --list

2)创建topic

##创建副本为三,分区数为一的分区

bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic first


选项说明:
--topic 定义topic名
--replication-factor  定义副本数
--partitions  定义分区数

3)删除topic

bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

4)发送消息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first

 5)消费消息


##换slave1机器上启动
bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first

6)查看某个Topic的详情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first

    原文作者:你的阿辛
    原文地址: https://blog.csdn.net/xinfanyyds/article/details/125539000
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞