胡夕,《Apache Kafka实战》作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM、搜狗、微博等公司。国内活跃的Kafka代码贡献者。 前言 虽然目前Apache Kafka已经全面进化成一个流处…
标签:kafka
再过半小时,你就能明白kafka的工作原理了
为什么需要消息队列 周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足…
SpringBoot Kafka 整合使用
前提 假设你了解过 SpringBoot 和 Kafka。 1、SpringBoot 如果对 SpringBoot 不了解的话,建议去看看 DD 大佬 和 纯洁的微笑 的系列博客。 2、Kafka Kafka 的话可以看…
RabbitMQ vs Kafka
原文地址RabbitMQ vs Kafka Part 1 – Two Different Takes on Messaging 在本文中,我们将介绍RabbitMQ和Kafka是什么,如何实现消息队列。两者在…
Kafka Connect内部原理
今天主要讲在大规模数据情况下,Kafka如何解决实时的数据集成问题。主要有以下四个方面: 1. Traditional ETL 2. Data Integration 3. Kafka Connect 4. Group …
Flume+Kafka双剑合璧玩转大数据平台日志采集
概述 大数据平台每天会产生大量的日志,处理这些日志需要特定的日志系统。 一般而言,这些系统需要具有以下特征: 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; 支持近实时的在线分析系统和类似于Hadoop之类的离线…
Kafka【入门】就这一篇!
为获得更好的阅读体验,建议您访问原文地址: 传送门 ) 前言:在之前的文章里面已经了解到了「消息队列」是怎么样的一种存在( 传送门),Kafka 作为当下流行的一种中间件,我们现在开始学习它! 一、Kafka 简介 Ka…
困扰许久的Kafka Rebalance问题
此文已由作者丁伟伟授权网易云社区发布。 欢迎访问网易云社区,了解更多网易技术产品运营经验。 前提 本文的分析基于kafka 0.9版本的client, 0.10.1.0中已经修改心跳线程为后台线程,并支持设置max.po…
使用Kafka和GeoMesa对流数据进行可视化
最近在做一些关于GeoMesa 的研究,发现一篇使用Kafka 和GeoMesa对实时流数据进行可视化的文章,希望通过翻译这篇文章(主要还是google翻译的功劳),对从事实时数据可视化方面研究的朋友们提供一些新的想法和…
Java程序员面试精选系列:RabbitMQ+Kafka+Zookeeper+Redis+JVM
小编精心收集:为金三银四准备,以下面试题先过一遍,为即将到了的面试做好准备,也过一遍基础知识点。 一、RabbitMQ 1.rabbitmq 的使用场景有哪些? 2.rabbitmq 有哪些重要的角色? 3.rabbit…
Kafka的架构原理,你真的理解吗?
Apache Kafka 最早是由 LinkedIn 开源出来的分布式消息系统,现在是 Apache 旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一。 Kafka 社区非常活跃,从 0.9 版本开始,Ka…
Kafka入门简介
本文简单的介绍下kafka,主要包含以下部分: 什么是Kafka Kafka的基本概念 Kafka分布式架构 配置单机版Kafka 实验一:kafka-python实现生产者消费者 实验二:消费组实现容错性机制 实验三:…