前提:kafka基于zookeeper配置
解压安装包
###将压缩包压缩到指定位置
tar -zxvf kafka_2.11-1.01.tgz -C /usr/local/src/
改名
mv kafka_2.11-1.0.1 kafka
修改环境变量
##只对root用户生效
vim /root/.bash_profile
##kafka
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin
分发环境变量
scp /root/.bash_profile slave1:/root/.bash_profile
scp /root/.bash_profile slave2:/root/.bash_profile
##激活环境变量
source /root/.bash_profile
配置kafka配置文件
cd /usr/local/src/kafka/config
vim server.properties
##修改broker.id为整数三台服务器不能一样
borker.id=1
delete.topic.enable=true
##修改路径
log.dirs=/usr/local/src/kafka/logs
##修改主机名:端口号
zookeeper:connect=master:2181,slave1:2181,slave2:2181
分发kafka文件
scp -r /usr/local/src/kafka slave1:/usr/local/src/
scp -r /usr/local/src/kafka slave2:/usr/local/src/
##分别修改slave1和slave2的broker.id
slave1 borker.id=2
slave2 borker.id=3
启动服务
##退回到kafka文件夹下
kafka-server-start.sh -daemon config/server.properties
查看服务
jps
1)查看当前服务器中的所有topic
bin/kafka-topics.sh --zookeeper master:2181 --list
2)创建topic
##创建副本为三,分区数为一的分区
bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic first
选项说明:
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数
3)删除topic
bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。
4)发送消息
bin/kafka-console-producer.sh --broker-list master:9092 --topic first
5)消费消息
##换slave1机器上启动
bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first
6)查看某个Topic的详情
bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first