在下面的教程中，我们将演示如何使用Spring Boot配置Spring Kafka。 Spring Boot使用合理的默认配置Spring Kafka。并使用application.yml属性文件覆盖这些默认值。 项目…

本教程演示了如何发送和接收来自Spring Kafka的消息。 首先创建一个能够发送消息给Kafka主题的Spring Kafka Producer。 接下来，我们创建一个Spring Kafka Consumer，它可…

Kafka支持许多最好的工业应用。 在本章中，我们将简要介绍一些Kafka最显着的应用。 推特 Twitter是一种在线社交网络服务，提供发送和接收用户推文的平台。 注册用户可以阅读和发布推文，但未注册的用户只能阅读推文…

Kafka工具包装在org.apache.kafka.tools.*下。 工具分为系统工具和复制工具。 系统工具 系统工具可以使用run class脚本从命令行运行。 语法如下 – bin/kafka-run…

在本章中，将讨论如何将Apache Kafka与Spark Streaming API集成。 Spark是什么？ Spark Streaming API支持实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从Kafka…

在本章中，我们将学习如何将Kafka与Apache Storm集成。 Storm是什么？ Storm最初是由Nathan Marz和BackType团队创建的。 在很短的时间内，Apache Storm成为分布式实时处理…

消费者群组是来自Kafka主题的多线程或多机器消费。 消费者群组 消费者可以通过使用samegroup.id加入一个组。 一个组的最大并行度是该组中的消费者的数量 ← 分区的数量。 Kafka将一个主题的分区分配给组中的…

在这一节中将创建一个使用Java客户端发布和使用消息的应用程序。 Kafka生产者客户端由以下API组成。 KafkaProducer API 下面来了解Kafka生产者API。 KafkaProducer API的核心…

以下是在您的机器上安装Java的步骤。 第1步 – Java安装 查看是否在机器上安装了java环境，只需使用下面的命令来验证它。 $ java -version 如果计算机上已成功安装Java，则可以看到已…

截至目前，我们已经了解了Kafka的核心概念。 现在让我们来看看Kafka的工作流程。 Kafka只是分成一个或多个分区的主题集合。 Kafka分区是消息的线性排序序列，每个消息由其索引标识(称为偏移量)。 Kafka集…

在深入学习Kafka之前，需要先了解topics, brokers, producers和consumers等几个主要术语。 下面说明了主要术语的详细描述和组件。 在上图中，主题(topic)被配置为三个分区。 分区1(…

在大数据中，使用了大量的数据。 关于大数据，主要有两个主要挑战。第一个挑战是如何收集大量数据，第二个挑战是分析收集的数据。 为了克服这些挑战，需要使用消息传递系统。 Kafka专为分布式高吞吐量系统而设计。 Kafka倾…