入口KafkaConsumer.poll: private ConsumerRecords<K, V> poll(final Timer timer, final boolean includeMetadat…
分类:kafka
linux安装flume和集成kafka测试
原文地址 https://blog.csdn.net/a123demi/article/details/72637847 一.前期准备 前面几篇文章讲了kafka的一些基础理论知识和必备的技能理解,接下来我们要讲一些理解…
Kafka 源码解析之 Server 端如何处理 Fetch 请求(十三)
上一篇讲述完 Kafka 如何处理 Produce 请求以及日志写操作之后,这篇文章开始讲述 Kafka 如何处理 Fetch 请求以及日志读操作。日志的读写操作是 Kafka 存储层最重要的内容,本文会以 Server…
一文读懂MQ消息队列
MQ(消息队列)在软件架构中是经常被使用的,特别是在分布式系统中也是使用频率很高的组件。 以下从消息队列的使用场景、概念、常见问题及解决方案来详细讲解。 一、消息队列使用场景 1.1 常见的使用场景 系统解耦 在分布式环…
[技术分享]Azure Data Explorer(Kusto)学习笔记
Azure Data Explorer 指南 Azure在2018年推出了Data Explorer产品,提供实时海量流数据的分析服务(非流计算),面向应用、网站、移动端等设备。 用户可以查询,并交互式地对结果进行分析,…
FLINK WEEKLY 2019/37
中秋节快乐呀 >_< 这里依旧是小 tison 跟大家分享上周 FLINK 的新进展,主要包括 USER 列表的用户问题,社区开发的最新状态和 1.8.2 版本的发布。 USER 多个keyBy时,只有最后一…
大数据周报-201906
本周依旧是有一些关于 Kafka 和 流计算的文章,还有一些不太常见的主题的文章。这其中包括 Redshift、一些调试案例(如 Yarn + cgroups)、Kubernetes,以及使用 Google Cloud …
这可能是北半球最暖的Kafka Connect数据管道教程:1(翻译)
接下来的系列短篇文章,将展示流式数据怎样从数据库(MySQL)输入到Apache Kafka®,又从Kafka输出到文本文件和Elasticsearch的——这一切就是Kafka Connect API的魅力。 从源到目…
开源、云战争愈演愈烈:Kafka 团队修改 KSQL 许可证,禁止其作为 SaaS 产品来提供
云头条导读:继《MongoDB 更换开源许可证:剑指阿里云、腾讯云》、《Redis杀死许可证,闭源的有:RediSearch、Redis Graph、ReJSON、ReBloom、Redis-ML》之后,今日Conflu…
spring boot集成kafka之spring-kafka深入探秘
kafka是一个消息队列产品,基于Topic partitions的设计,能达到非常高的消息发送处理性能。Spring创建了一个项目Spring-kafka,封装了Apache 的Kafka-client,用于在Spri…
高并发架构系列:详解分布式之消息队列的特点、选型及应用场景
一、什么是消息队列 消息队列(Message Queue,简称MQ),指保存消息的一个容器,本质是个队列。 消息(Message)是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌…
拒绝重复造轮子!python实用工具类及函数大推荐!
从2015年转行程序员至今也有两年多了,当初自学的java却误打误撞进了python的坑,入职之后一天java也没有写过,或许这可以理解成缘分吧,哈哈!使用python工作久了,随手写一些小工具再所难免,不知不觉,我的工…