环境准备
主机名称 | IP地址 |
---|---|
kafka | 192.168.200.91 |
其他信息:
[root@flume ~]# uname -r
2.6.32-358.el6.x86_64
[root@flume ~]# uname -m
x86_64
[root@flume ~]# getenforce
Disabled
echo "192.168.200.81 kafka">>/etc/hosts
一、安装JDK
请参考:Linux下快速安装JDK
二、安装kafka
2.1 安装配置
下载
cd /usr/local/src/
wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz
解压
tar zxf /usr/local/src/kafka_2.12-1.0.0.tgz -C /usr/local/
ln -s /usr/local/kafka_2.12-1.0.0 /usr/local/kafka
2.2 启动zookeeper
cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties
观察日志,如果启动成功,之后启动可以使用后台启动。
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties &
检查
[root@kafka kafka]# jps |grep -vi jps
1678 QuorumPeerMain
2.3 启动kafka
bin/kafka-server-start.sh config/server.properties
观察日志,如果启动成功,之后启动可以使用后台启动。
bin/kafka-server-start.sh -daemon config/server.properties &
检查
[root@kafka kafka]# jps |grep -vi jps
3110 Kafka
2446 QuorumPeerMain
三、测试
3.1 创建Topic
[root@kafka kafka]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Created topic "test".
3.2 查看topic
[root@kafka kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181
test
3.3 生产数据
运行生产者,然后在控制台中输入一些消息,发送给服务器。
[root@kafka kafka]# bin/kafka-console-producer.sh --broker-list localhost:9092 --zookeeper kafka:2181 --topic test
This is a message
如果提示:zookeeper is not a recognized option,那么就不加选项 –zookeeper kafka:2181
3.4 消费数据
kafka也有一个命令行的消费者,将把信息输出到标准输出
[root@kafka kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --zookeeper kafka:2181 --topic test --from-beginning
This is a message
常见错误
java.net.UnknownHostException: kafka: kafka: Name or service not known
启动时出现异常:
java.net.UnknownHostException: kafka: kafka: Name or service not known
解决:
echo ‘192.168.200.91 kafka’>>/etc/hosts