rabbitmq.png 最近的一个计费项目，在rpc调用和流式处理之间徘徊了许久，后来选择流式处理。一是可以增加吞吐量，二是事务的控制相比于rpc要容易很多。 确定了流式处理的方式，后续是技术的选型。刚开始倾向于用st…

第一部分：Stream程序设计原理 #SparkStreaming设计动机 很多重要的应用要处理大量在线流式数据，并返回近实时的结果 • 社交网络趋势跟踪 • 电商网站指标统计 • 广告系统 具备分布式流式处理框架的基…

讲师： 韩老师 讲师简介： 清华大学硕士毕业，拥有超过6年的大数据平台研发经验，目前就职于某知名电商大数据平台团队，负责异构数据交换及流式计算平台的研发。熟悉hadoop及spark生态，对数据平台整体技术架构及流式计算…

流式计算概述 常规计算引擎分类 批处理 • 高吞吐，低延迟 • 面向静态数据集合的处理 • 分钟甚至小时级别延迟 • 比如MR, Spark 流式计算 • 面向行级别数据处理 • 毫秒级延迟 • 比如storm 流式计算…

Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Dur…

实时计算 上篇文章大致介绍了离线计算MapReduce和Spark，但是无法满足对实时性要求较高的业务，下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前，先说一下我对离线和批量、实时和流式的一些看法…

前言 Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流…