一、什么是消息队列 消息队列(Message Queue,简称MQ),指保存消息的一个容器,本质是个队列。 消息(Message)是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌…
分类:kafka
消息队列概述与kafka-校招总结
消息队列 概述 实现系统间通信的方法 基于远程过程调用,RPC 基于消息队列 各种消息队列的使用场景 解耦 异步处理业务 消息队列关注的是通知, 而不是处理 流量消峰 日志收集 事务最终一致性 功能特点 消息的发送 消息…
kafka 遇上 sparkStreaming | 整合篇
搭建流程略,主要讲一下如何更好的结合使用,看图说话。 Kafka 结合 Spark Streaming 实现在线的准实时流分析,除了保证数据源和数据接收的可靠性,还要保证元数据的 checkpoint 。 以上的方案,不…
Kafka权威指南,初识 Kafka
初识 Kafka Kafka 是一款基于发布与订阅的消息系统。它一般被称为“分布式提交日志”或者“分布式流平台”。 Kafka 的数据单元被称为消息。为了提高效率,消息被分批次写入 Kafka。批次就是一组消息,这些消息…
Kafka如何实现每秒上百万的超高并发写入?掌握好面试给你打满分
这篇文章来聊一下 Kafka 的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。 Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到…
Kafka、RabbitMQ、RocketMQ等消息中间件的对比
RPC(Remote Procedure Call)—远程过程调用 ,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息…
Java高级编程面试体系:spring+多线程+Nginx+数据库+JVM+Kafka+Linux等
前言 然而面对今年的大环境而言,跳槽成功的难度比往年高了很多,很明显的感受就是:对于今年的java开发朋友跳槽面试,无论一面还是二面,都开始考验一个Java程序员的技术功底和基础。对源码解读和核心原理理解也是成了加分项,…
分布式学习(6) ---- 深入kafka生产消费模型
生产者详解 上文中生产者代码如下: Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props…
Kafka 应用实践与生态集成
文章作者:哥不是小萝莉 内容来源:作者投稿 出品社区:DataFun 1. 前言 Apache Kafka 发展至今,已经是一个很成熟的消息队列组件了,也是大数据生态圈中不可或缺的一员。Apache Kafka 社区非常…
Kafka 读书-2:《The Kafka definitive guide》
构建数据管道 Kafka最主要的作用:解耦,异步,当做一个非常的大,可靠的buffer。因此构建数据管道时需要考虑的有: 时间性 可靠性 高吞吐量,尤其是高峰低谷交错 数据格式 安全 耦合:没有一个通用的数据管道,只是单…
Kafka消息系统基础知识索引
我们在上篇文章中,详细说明了KAFKA是否适合用在业务系统中,但有些朋友,还不知道KAFKA为何物,以及它为何存在。这在工作和面试中是比较吃亏的,因为不知道什么时候起,KAFKA似乎成了工程师的必备技能。 消息系统是什么…
Kafka中各种机制讲解
在《Kafka入门详解》中讲述了什么是Kafka,kafka的适用场景,kafka中的核心概念以及Kafka的安装测试。Kafka的API使用相对来说比较简单。本文对Kafka中的一些理论性知识进行阐述。 江户小宝:Ka…