连接kafka时需要输入kafka节点名和端口： 例如： kafka-topics.sh –bootstrap-server hadoop102:9092 –list kafka-topics.s…

kafka集群安装 前提 一、安装包获取 二、安装kafka 三、Kafka命令行操作 本人是一名在校大三学生，所选专业大数据技术，为了毕业能有一份可观的工作， 目前正在致力于努力学习中，在学习中的一些笔记和经验，希望可…

前提条件 三台Linux虚拟机 安装好kafka集群，可参考 安装kafka集群 使用kafka Kafka常用命令 启动集群 启动zk [hadoop@node2 kafka]$ zk.sh start -------…

            Kafka为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同消息（在同一时刻，…

一、消息分发机制 1.1 kafka 消息分发策略 消息是 kafka 中最基本的数据单元，在 kafka 中，一条消息由key、value两部分构成，在发送一条消息 时，我们可以指定这个key，那么 producer …

一、何为高水位 日常生活中，我们一般把什么叫做水位呢？ 经典教科书 在时刻 T，任意创建时间（Event Time）为 T'，且 T'<=T 的所有事件都已经到达，那么&nb…

欢迎支持笔者新作：《深入理解Kafka:核心设计与实践原理》和《RabbitMQ实战指南》，同时欢迎关注笔者的微信公众号：朱小厮的博客。 Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并…

文章目录 概述 回顾ack配置 幂等性 kafka中幂等性存在的问题 参考 概述 at most once模式 基本思想是保证每一条消息commit成功之后，再进行消费处理； 设置自动提交为false，接收到消息之后，首…

不管是传统的RDBMS还是分布式的NoSQL，存储在数据库中的数据总会更新。更新数据有两种方式：直接更新(找到数据库中的已有位置，以最新的值替换旧的值)、以追加方式更新(保留旧值，查询时再合并；或者会有一个后台线程，对相…

写在前面：我是「且听风吟」，目前是某上市游戏公司的大数据开发工程师，热爱大数据开源技术，喜欢分享自己的所学所悟，现阶段正在从头梳理大数据体系的知识，以后将会把时间重点放在Spark和Flink上面。 如果你也对大数据感兴…

目录 介绍 安装 使用 Kafka系列： kafka 2.4.1单机版部署及使用 kafka监控系统kafka eagle安装使用 滴滴开源的kafka-manager编译及部署使用 kafka管理监控系统 CMAK(y…

tcpdump 是Linux平台上网络抓包、分析神器，wireshark可用在Windows上以可视化方式直接分析查看tcpdump抓取的数据文件。且wireshark内置支持很多常见应用协议解析，其中就包括kafka通…