豆瓣链接：Kafka Streams in Action 因为工作中要用 Kafka Streams，所以看完《Kafka 权威指南》后马不停蹄把这本书看了下。 之前我对流式处理的了解基本停留在理论上，看过几本相关的书，…

下载全部视频和PPT，请关注公众号(bigdata_summit)，并点击“视频下载”菜单 Building Event-Driven Services with Stateful Streams by Benjamin…

以3台机器为例，进行配置。现在有3台机器，ip地址分别为 · 192.168.1.50 · 192.168.1.51 · 192.168.1.52 1、配置zookeeper集群 首先下载zookeeper，并解压至每台…

基于2.1.0 构造函数初始化accumulator，这是一个发送的缓冲队列管理器 this.accumulator = new RecordAccumulator(logContext, config.getInt(P…

本地电脑没保存截图，在 http://www.54tianzhisheng.cn/2018/01/04/Kafka/ 可以看得到含有图片的博客原文。 介绍 官网：http://kafka.apache.org/ Apac…

消息队列 概述 实现系统间通信的方法 基于远程过程调用,RPC 基于消息队列 各种消息队列的使用场景 解耦 异步处理业务 消息队列关注的是通知, 而不是处理 流量消峰 日志收集 事务最终一致性 功能特点 消息的发送 消息…

一直在使用kafka，遇到过很多问题，总结一下 数据丢失？？？ 很多人对比kafka和AMQP的时候，都会强调kafka会丢数据，感觉好像只要用kafka就会丢数据一样，从而排斥使用kafka，亦或者在使用的过程中，发现…

Table of Contents 安装 配置 input中参数解释 启动 安装 依赖:jdk7及以上版本 Logstash版本:2.3.4 步骤： 官网下载tar.gz包 链接地址：链接 扔到机器上解压tar zxvf…

kafka为什么吞吐量高？ 1、磁盘顺序读写 磁盘读取时间： 寻道时间，表示磁头在不同磁道之间移动的时间。 旋转延迟，表示在磁道找到时，中轴带动盘面旋转到合适的扇区开头处。 传输时间，表示盘面继续转动，实际读取数据的时间…

分布式数据库团队隶属于华为2012实验室-中央软件院-分布式数据实验室，实验室由华为Fellow胡子昂亲自筹建，团队成员来自IBM、TeraData、神通数据库、阿里巴巴等，目前在进行华为自研的分布式数据项目。我本人也是…

以下内容来自刘建平Pinard-博客园的学习笔记，总结如下： 要学习或者研究机器学习，进而用到生产环境，对平台，开发语言，机器学习库的选择非常重要。 　　首先，对于平台选择的第一个问题是，你是要用于生产环境，也就是具体的…

1、scala 语言有什么特点，相比java有什么优点? 2、什么是Scala的伴生类和伴生对象? 3、spark有什么特点，处理大数据有什么优势? 4、Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景…