前言 说人话：其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲，坑则是从实际场景中遇到的一些小细节描述。 玫瑰篇 玫瑰篇主要是说Spark Streaming的优势点。 玫瑰之代码复用 这主…

前言 昨晚睡了12小时，早上起来神清气爽，索性把之前提的一个Issue:Is there any plan to port TensorframeOnSpark(From yahoo) 给尝试着集成进来。 前两天已经添加…

首先分5中情况： 1，spark master进程挂掉了 2，spark master在执行中挂掉了 3，spark worker提交任务前全部挂掉了 4，spark worker在执行application过程中挂掉了…

Spark Streaming =>很火，在流处理中得到了广泛的应用。TensorFlow=>很火，由Google大神开源，目前已经在深度学习领域展现了超高的流行潜质。那么如何在Spark Streaming…

Spark 2.1 Mllib 考虑到spark选型做mllib的人，最关心问题，就是spark mllib能够支持多少机器学习的算法呢？ 问题很简单，就下面这么多，你看着用吧。 数据集： • Local vector（…

启动Spark任务时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 会看到不停地上传jar，非常耗时；使用spark.yarn.archive可以大大地减少任务的启动时间，整个处理…

『 Spark 』5. 这些年，你不能错过的 spark 学习资源 – 简书 http://www.jianshu.com/p/59c54b46577b 原文链接：『 Spark 』5. 这些年，你不能错过的…

我们知道Spark2.0 ，Spark 1.6还有Spark 1.5 三者之间版本是不兼容的，尤其是一些内部API变化比较大。如果你的系统使用了不少底层的API,那么这篇文章或许对你有帮助。我们介绍的兼容相关一些技巧，主…

开源Spark运行在hdp的yarn集群失败分析： 部署方案 spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包 在机器上解压，并在spark-env中配置HADOOP_CONF_DIR…

以下错误，想必在做Spark的DateSet操作时一定是见过吧？ Error:(58, 17) Unable to find encoder for type stored in a Dataset. Primitive…

Spark技术内幕：深入解析Spark内核架构设计与实现原理 第三章 Spark RDD实现详解 RDD是Spark最基本也是最根本的数据抽象，它具备像MapReduce等数据流模型的容错性，并且允许开发人员在大型集群上…

一、简介 1.1内容 在mac电脑上成功安装spark（不用预先安装hadoop），并在jupyter上使用pyspark来操作spark。 1.2 知识点 jdk的安装 spark和pyspark的安装 虚拟环境的内核…