# Task提交流程在划分Stage之后,在对Task进行封装成为TaskSet然后提交给TaskScheduler。 Spark带注释源码 对于整个Spark源码分析系列，我将带有注释的Spark源码和分析的文件放在…

　　Spark 是一种与 Hadoop 相似的开源集群计算环境，是专为大规模数据处理而设计的快速通用的计算引擎，现已形成一个高速发展应用广泛的生态系统，主要应用场景如下： 　　1. Spark是基于内存的迭代计算框架，适…

本章节根据源代码分析Spark Structured Streaming(Spark2.4)在进行DataSourceProvider查找的流程，首先，我们看下读取流数据源kafka的代码： SparkSession s…

http://spark.apache.org/docs/1.6.1/tuning.html1) 代码优化 a. 对于多次使用的RDD，进行数据持久化操作(eg: cache、persist) b. 如果对同一个份数据进…

学习主题：spark-streaming2 学习目标： 掌握Kafka的相关概念 Kafka的分布式集群部署 | | broker1 | broker2 | broker3 | | ——- | &…

VectorSlicer 算法介绍： VectorSlicer是一个转换器输入特征向量，输出原始特征向量子集。VectorSlicer接收带有特定索引的向量列，通过对这些索引的值进行筛选得到新的向量集。可接受如下两种索引…

共享变量 通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量会向驱动程序回传。在…

知识点1：Spark访问HIVE上面的数据 　　配置注意点：. 　　　　1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中（spark2…

欢迎转载，转载请注明出处，徽沪一郎。 楔子 Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进…

浅谈Spark中广播变量 广播变量的好处 广播变量的好处，不需要每个task带上一份变量副本，而是变成每个节点的executor才一份副本。这样的话， 就可以让变量产生的副本大大减少。 广播变量的用法 广播变量用法很简单…

1.hello world程序 object HelloWorld { def main(args: Array[String]) { println("Hello,World!") } } 注意 语句末尾的分号通常是可…

从spark1.2 到spark1.3，spark SQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。DataFrame将数据…