目录
Kafka系列:
kafka管理监控系统 CMAK(yahoo的kafka-manager)部署及使用
Kafka系列(三)、生产者分区策略、ISR、ACK机制、一致性语义
Kafka系列(四)、消费者策略、Rebalance机制、Offset存储机制
Kafka系列(五)、开启SASL安全认证以及配置ACL权限控制
介绍
Lenses 是kafka的一个商用套件,本次我们使用docker安装他们给我们提供的开源版本,该开源版本包含超多组件,对于平时开发使用来说很友好,不需要去安装一堆开发组件,它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent REST Proxy 以及几个lenses开源的管理ui界面 kafka-topics-ui, schema-registry-ui, kafka-connect-ui, 还包含了30多种kafka connector,大大减少了我们安装部署的工作量,目前最新的镜像已经跟到kafka_v2.5.1,还是挺新的。
官方网址:https://lenses.io
Github:https://github.com/lensesio/fast-data-dev
安装
Docker
在安装lenses的开发镜像之前我们需要先准备docker环境,安装还是很简单的:
# 1. CentOS7 一键安装docker
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
# 2. 配置docker镜像加速,这里我使用的是阿里云的加速镜像,记得将下面的yourID换成自己的
# 其他加速镜像:
# https://docker.mirrors.ustc.edu.cn/
# https://hub-mirror.c.163.com
# https://registry.docker-cn.com
vim /etc/docker/daemon.json
#------------------
{
"registry-mirrors": ["https://yourID.mirror.aliyuncs.com"]
}
#------------------
# 3. 执行命令重启服务
sudo systemctl daemon-reload
sudo systemctl restart docker
# 4. 查看docker信息
docker info
kafka lenses:fast data dev
使用下面的命令拉取并运行 lenses 开发镜像:
# 拉取镜像
docker pull lensesio/fast-data-dev
# 启动镜像
docker run --rm -it -p 2181:2181 -p 3030:3030 -p 8081:8081 -p 8082:8082 -p 8083:8083 -p 9092:9092 e ADV_HOST=127.0.0.1 lensesio/fast-data-dev
启动完成后在浏览器中输入ip:3030 即可看到下图界面:
使用
我们使用如下命令进入该镜像的命令行模式:
docker run --rm -it --net=host lensesio/fast-data-dev bash
然后创建一个topic 并开启一个producer 和consumer :
# 创建一个topic:csdn_wyk
kafka-topics --zookeeper 127.0.0.1:2181 --create --topic csdn_wyk --partitions 3 --replication-factor 1
#开启一个生产者
kafka-console-producer --broker-list 127.0.0.1:9092 --topic csdn_wyk
# 开启一个消费者
kafka-console-consumer --bootstrap-server 127.0.0.1:9092 --topic csdn_wyk
回到刚才的lenses fast data 页面,在首页点击kafka-topics-ui即可进入如下页面,可以直接查看topic内的数据分区和配置项等信息:
在首页点击 kafka-connect-ui即可进入下面的页面,在这里我们可以直接配置kafka connector:
在首页点击 schema-registry-ui即可进入下面的页面,在这里我们可以管理注册到kafka schema registry的schema:
希望本文对你有帮助,请点个赞鼓励一下作者吧~ 谢谢!