Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中，数据是持续不断来的，有时候我们要对一些数据做跨周期(Dur…

流式计算概述 常规计算引擎分类 批处理 • 高吞吐，低延迟 • 面向静态数据集合的处理 • 分钟甚至小时级别延迟 • 比如MR, Spark 流式计算 • 面向行级别数据处理 • 毫秒级延迟 • 比如storm 流式计算…

第一部分：Stream程序设计原理 #SparkStreaming设计动机 很多重要的应用要处理大量在线流式数据，并返回近实时的结果 • 社交网络趋势跟踪 • 电商网站指标统计 • 广告系统 具备分布式流式处理框架的基…