前言 本人是一枚热爱新技术的程序猿，想在知乎文艺一下。由于水平有限，如果存在知识点上面的错误，请大神明确指出，我会认真听取，并及时修正自己的错误。 目录 本文包含目录中 kafka部署的章节。 6. kafka部署 &#…

1.kafka简介 Apache Kafka 是一个分布式的流平台。分布式流平台具有三项关键功能： 类似于消息队列的发布订阅能力 以容错持久的方式存储数据流 即时处理流中的记录 一般将kafka作为流处理系统数据流接收器…

Kafka producer有三种ack机制  初始化producer时在config中进行配置 0  意味着producer不等待broker同步完成的确认，继续发送下一条(批)信息 提供…

RocketMQ原理（4）–消息ACK机制及消费进度管理 – 知乎专栏文中提过，所有的消费均是客户端发起Pull请求的，告诉消息的offset位置，broker去查询并返回。但是有一点需要非常明确…

一、kafka的应用场景 在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中高性能，低延迟的不停流转。Kafka承担高速数据总线的作用。 二、kafka基本概念 topic（主题）：…

kafka建立datain节点 前提：zookeeper和kafka已开启 zookeeper下建立节点 zkCli.sh ls / create /datain 1 create /datain/id 1 kafka的…

消费者 Kafka最大的特点是：Kafka集群本身不去记录消费者的确认回函（我猜是性能考虑），而是允许消费者使用offset来追踪消息的提交。这个设计是出于以下的考虑：如果一个消费者down掉，或者新的消费者加入，那么都…

一 整体步骤 hosts配置 安装配置Zookeeper Kafka集群搭建 二 配置Hosts 修改hosts文件 sudo vi /etc/hosts # 配置如下 127.0.0.1 localhost 192.1…

一、前言消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、…

最近再做一个master-worker式的任务调度程序，这个第一版是同事做的，我负责重构。 代码结构在这篇文章里 之前使用kafka来做队列，但是当我重构时发现，worker处理一个message的时间有时候需要几分钟，…

序 Kafka是一个基于日志的流处理平台，一个topic可以有多个分区（partition），分区是复制的基本单元，在单节点上，一个分区的数据文件可以存储在多个磁盘目录中，配置项是： # A comma separate…

Java多线程实现的方式有四种 1.继承Thread类，重写run方法 2.实现Runnable接口，重写run方法，实现Runnable接口的实现类的实例对象作为Thread构造函数的target 3.通过Callab…