RocketMQ原理（4）–消息ACK机制及消费进度管理 – 知乎专栏文中提过，所有的消费均是客户端发起Pull请求的，告诉消息的offset位置，broker去查询并返回。但是有一点需要非常明确…

一、kafka的应用场景 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。Kafka承担高速数据总线的作用。 二、kafka基本概念 topic（主题）：…

kafka建立datain节点 前提：zookeeper和kafka已开启 zookeeper下建立节点 zkCli.sh ls / create /datain 1 create /datain/id 1 kafka的…

消费者 Kafka最大的特点是：Kafka集群本身不去记录消费者的确认回函（我猜是性能考虑），而是允许消费者使用offset来追踪消息的提交。这个设计是出于以下的考虑：如果一个消费者down掉，或者新的消费者加入，那么都…

一 整体步骤 hosts配置 安装配置Zookeeper Kafka集群搭建 二 配置Hosts 修改hosts文件 sudo vi /etc/hosts # 配置如下 127.0.0.1 localhost 192.1…

一、前言消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、…

最近再做一个master-worker式的任务调度程序，这个第一版是同事做的，我负责重构。 代码结构在这篇文章里 之前使用kafka来做队列，但是当我重构时发现，worker处理一个message的时间有时候需要几分钟，…

序 Kafka是一个基于日志的流处理平台，一个topic可以有多个分区（partition），分区是复制的基本单元，在单节点上，一个分区的数据文件可以存储在多个磁盘目录中，配置项是： # A comma separate…

Java多线程实现的方式有四种 1.继承Thread类，重写run方法 2.实现Runnable接口，重写run方法，实现Runnable接口的实现类的实例对象作为Thread构造函数的target 3.通过Callab…

连接器开发指引 该指引介绍开发者如何为Kafka Connect写一个新连接器，来在Kafka和其它系统间移动数据。先简要的回顾一些概念，然后介绍如果创建一个简单连接 核心概念和API 连接器和任务 为了在Kafka和其…

1.架构流程 telegraf 收集数据 kafka 消息队列 java 消费程序 clickhousen 存放数据 grafana 展示数据 2.telegraf 介绍 Telegraf 是收集和报告指标和数据的代理。…

Kafka集群安装、配置和启动 Kafka需要依赖zookeeper，并且自身集成了zookeeper，zookeeper至少需要3个节点保证集群高可用，下面是在单机linux下创建kafka3个节点伪集群模式。 1、下…