rabbitmq.png 最近的一个计费项目,在rpc调用和流式处理之间徘徊了许久,后来选择流式处理。一是可以增加吞吐量,二是事务的控制相比于rpc要容易很多。 确定了流式处理的方式,后续是技术的选型。刚开始倾向于用st…
标签:流式
快乐大数据第11课 Spark Stream
第一部分:Stream程序设计原理 #SparkStreaming设计动机 很多重要的应用要处理大量在线流式数据,并返回近实时的结果 • 社交网络趋势跟踪 • 电商网站指标统计 • 广告系统 具备分布式流式处理框架的基…
【线上直播】Spark Streaming架构及实践
讲师: 韩老师 讲师简介: 清华大学硕士毕业,拥有超过6年的大数据平台研发经验,目前就职于某知名电商大数据平台团队,负责异构数据交换及流式计算平台的研发。熟悉hadoop及spark生态,对数据平台整体技术架构及流式计算…
流式计算概述和Spark Streaming tips
流式计算概述 常规计算引擎分类 批处理 • 高吞吐,低延迟 • 面向静态数据集合的处理 • 分钟甚至小时级别延迟 • 比如MR, Spark 流式计算 • 面向行级别数据处理 • 毫秒级延迟 • 比如storm 流式计算…
Spark Streaming 1.6 流式状态管理分析
Spark 1.6发布后,官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中,数据是持续不断来的,有时候我们要对一些数据做跨周期(Dur…
实时计算——聊一聊我所经历的计算框架
实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前,先说一下我对离线和批量、实时和流式的一些看法…
Spark 2.0 Structured Streaming 分析
前言 Spark 2.0 将流式计算也统一到DataFrame里去了,提出了Structured Streaming的概念,将数据源映射为一张无线长度的表,同时将流式计算的结果映射为另外一张表,完全以结构化的方式去操作流…