一、kafka概述： 1、消息队列： 1）、原理及其有点： 客户端消费Queue种的数据有两种方式：1、发布/订阅模式，也就是一对多，数据生产之后，推给所有的订阅者，打个比方：就像是手机上面的QQ消息，你没有打开手机看消…

戳蓝字「TopCoder」关注我们哦！ 编者注：作者是Java开发工程师@青云。 MQ初窥门径 全称(message queue)消息队列,一个用于接收消息、存储消息并转发消息的中间件 应用场景 用于解决的场景，总之是能…

不管是把 Kafka 作为消息队列、消息、总线还是数据存储平台来使用 ，总是需要有一个可以往 Kafka 写入数据的生产者和一个可以从 Kafka读取数据的消费者，或者一个兼具两种角 色的应用程序。例如，在一个信用卡事务…

1.什么是publish/subscribe消息模型？ Publish/subscribe messaging is a pattern that is characterized by the sender (publ…

有很多人问过我要过Kafka相关的面试题，我一直懒得整理，这几天花了点时间，结合之前面试被问过的、别人咨询过的、我会问别人的进行了相关的整理，也就几十题，大家花个几分钟看看应该都会。面试题列表如下： Kafka的用途有哪…

本文介绍Kafka的架构和基本运行机制 Kafka整体架构 Producer：消息生产者 Kafka Cluster：由Broker（Server）组成，每个Broker里包含了不同Topic的不同Partition，P…

1. Kafka consumer和其它队列中间件的使用上有很大区别嘛？ 有，有很多概念上的不同，比如offset。 2.为什么有consumer group的概念？ 因为一个consumer不够用啊，当consumer…

运行kafka生产者客户端，接收用户终端输入。 ./rdkafka_simple_producer 0 test 官方例子核心C代码解读： 参数校验，需要传入<broker> <topic> 创建…

本文由 「AI前线」原创（ID：ai-front），原文链接：比拼Kafka，大数据分析新秀Pulsar到底好在哪 作者 | Sijie Guo 翻译 | 翟佳 整理 & 编辑 | Natalie AI 前线导读…

最近再做一个master-worker式的任务调度程序，这个第一版是同事做的，我负责重构。 代码结构在这篇文章里 之前使用kafka来做队列，但是当我重构时发现，worker处理一个message的时间有时候需要几分钟，…

数据处理方法分为离线处理和在线处理，今天写到的就是基于Storm的在线处理。在下面给出的完整案例中，我们将会完成下面的几项工作： 如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis） 实时处…

欢迎关注公众号：n平方 如有问题或建议，请后台留言，我会尽力解决你的问题。 简介 kafka是用于构建实时数据管道和流应用程序。具有横向扩展，容错，wicked fast（变态快）等优点，并已在成千上万家公司运行。 目标…