此文稿来源于太阁实验室每周三晚上的weekly tech show,活动注册链接:https://attendee.gotowebinar.com/register/1150708559813755649 下期活动为:S…
分类:kafka
分布式消息Kafka的原理、特征、基础架构、以及使用场景
Kafka简介 Apache Kafka是分布式发布-订阅消息系统,在 kafka官网上对 kafka 的定义:一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开发,Linkedin于2010年贡献给了A…
MQ(5) —— Nsq vs Kafka
Nsq vs Kafka 正如之前说的,Nsq是一款极简的消息中间件,前面几讲,我们分别学习了: Nsq的几个组件:MQ(1)—— 从队列到消息中间件 一条消息如何从生产到被消费:MQ(2) —— 一条消息是如何从生产到…
Kafka介绍
如需转载,请在文章开头著明出处:Kafka介绍 | boren’s blog Kafka入门 描述一 Kafka是一个分布式的流处理平台。一个流处理平台通常有以下特征 发布和订阅消息流(类似于消息队列或者企业…
Kafka的面试知识,都在这儿了
我们在《360度测试:KAFKA会丢数据么?其高可用是否满足需求?》这篇文章中,详细说明了KAFKA是否适合用在业务系统中。但有些朋友,还不知道KAFKA为何物,以及它为何存在。这在工作和面试中是比较吃亏的,因为不知道什…
spark与kafka集成
本文转载至Spark踩坑记–Spark Streaming+Kafka 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当…
ActiveMQ面试题
【81】 ActiveMQ常见面试题 一、什么是activemq activeMQ是一种开源的,实现了JMS1.1规范的,面向消息(MOM)的中间件,为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。 二、a…
Kafka架构图
作者:Zarten 知乎专栏:Python爬虫深入详解 知乎ID: Zarten 简介: 互联网一线工作者,尊重原创并欢迎评论留言指出不足之处,也希望多些关注和点赞是给作者最好的鼓励 ! 1.架构图 如上图,一个kafk…
Kafka史上最详细原理总结
Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满…
Kafka Consumer消费能力较低时的解决方案
背景 随着业务的发展,项目组有大量的任务需要处理。 这些任务需要主要分为两种类型: 通过接口调用, 后台执行任务 通过调度系统定时执行 接口调用就需要执行任务不能阻塞, 不然系统的处理能力就会下降。任务调度系统需要在在一…
Kafka设计解析(一) Kafka背景及架构介绍
原创文章,转载请务必将下面这段话置于文章开头处。(已授权 InfoQ中文站发布) 本文转发自 技术世界, 原文链接 Kafka设计解析(一)- Kafka背景及架构介绍 1. 摘要 Kafka是由LinkedIn开发并开…
老司机常用的kafka监控-eagle
前面有文章说到了一个叫kafka manager的kafka管理工具,这个工具管理kafka确实很强大,但是没有安全认证,随便都可以创建,删除,修改topic,而且告警系统,流量波动做的不好。所以,在这里浪尖,再给大家推…