董的博客 » Hadoop Streaming 编程 http://dongxicheng.org/mapreduce/hadoop-streaming-programming/ 1、概述 Hadoop Streamin…
标签:streaming
【容错篇】Spark Streaming的还原药水——Checkpoint
一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spark Streaming需要 checkpoi…
Spark Streaming中简单粗暴执行TensorFlow
Spark Streaming =>很火,在流处理中得到了广泛的应用。TensorFlow=>很火,由Google大神开源,目前已经在深度学习领域展现了超高的流行潜质。那么如何在Spark Streaming…
[翻译] Storm和Spark Streaming的横向比较
本文翻译自 http://xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.html 另,首先在 http://www.cn…
Spark Streaming + Kafka +Hbase项目实战
同学们在学习Spark Steaming的过程中,可能缺乏一个练手的项目,这次通过一个有实际背景的小项目,把学过的Spark Steaming、Hbase、Kafka都串起来。 1.项目介绍 1.1 项目流程 Spark…
18 Spark Streaming程序的优雅停止
Spark Streaming程序的停止可以是强制停止、异常停止或其他方式停止。 首先我们看StreamingContext的stop()方法 def stop( stopSparkContext: Boolean = …
spark streaming
Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark,也就是把Spark Streaming的输入数据按照batch size(如1秒)分成一段一段的数据(Discreti…
Spark生态圈
scala,spark的学习门槛还是较高的,scala应该算是我学过的语言中觉得最难的一种了吧(除了英语..)..心蛮类的,总结下经验,希望能够帮助更多小伙伴少走一些弯路吧! Spark生态圈的五大组件:Spark Co…
spark-submit提交Spark Streamming+Kafka程序
我的原创地址:https://dongkelun.com/2018/06/19/sparkSubmitKafka/ 前言 Spark Streaming本身是没有Kafka相关的jar包和API的,如果想利用Spark …
spark-streaming编程
1 Spark-streaming 1.1Spark-streaming 的KafkaManager类 1.1.1KafkaManager主要封装了两个方法 程序启动的时候获取consumer-group在zk保存的of…
spark streaming应用一个越跑越慢的bug
题记: 这是我的第一篇技术博文,写得不好请多提意见。然后,感谢张志斌老师,毕业之前张老师帮助我解一些“神奇的bug”,现在毕业一个月,我终于自己开始解自己认为“神奇的bug”。 背景: 我需要在spark streami…
Spark 2.1 structured streaming
最近(12月8日), Spark 2.1 版本正式发布。2.1版本是第二个Spark2.x版本。又增强了Spark对于Structured streaming的支持,包括数据源对Kafka的支持,以及新增的streami…