1. 比rdd更省内存 2. 执行效率更高 3.接口友好，使用方便 mark： https://databricks.com/blog/2016/01/04/introducing-apache-spark-datase…

Spark MLlib机器学习开发指南(6)–特征提取，转换，选择–CountVectorizer 翻译自CountVectorizer,基于最新2.2.0版本翻译,转载注明出处 xcrossed…

sparkMLib 概述 mlib的设计很简单，吧数据以rdd的形式表示。然后再分布式数据集和散户个屌用各种算法。 需要注意的是，MLlib 中只包含能够在集群上运行良好的并行算法，这一点很重要。有些经典的机器学习算法没…

本篇结构： 创建 Task 创建 TaskSetManager 并 向 DriverEndpoint 发送消息 分配资源 发送消息告诉 Executor 去执行 Task 一、创建 Task 当调度阶段运行后，在 DAG…

背景：诞生于伯克利大学AMPLab的Spark是当今大数据领域最活跃、最热门、最高效的大数据通用平台，是Apache软件基金会所有开源项目中三大顶级开源项目之一。 1.1 Spark：一体化、多元化的告诉大数据通用计算平…

SparkSQL内部实现的基础框架叫做Catalyst。Catalyst涉及了几个基础性概念，包括：InternalRow体系、TreeNode体系和Expression体系。 InternalRow InternalR…

Spark数据处理 Spark作为分布式数据处理的一个开源框架，因其计算的高效性和简洁的API而广受欢迎。一般来说，Spark大部分时候被用来进行批处理。但现在Spark通过其SparkStreaming模块也实现了一定…

MLLib提供了一系列基本数据类型以支持底层的机器学习算法。 主要的数据类型包括：标注点（Labeled Point）、本地向量（Local Vector）、、本地矩阵、分布式矩阵等。单机模式存储的本地向量与矩阵，以及基…

各个组件 conf/spark-env.sh 配置spark的环境变量 conf/spark-default.conf 配置spark应用默认的配置项和spark-env.sh有重合之处，可在提交应用时指定要用的配置文件…

任务集管理模块TaskSetManager详解 前面提到，dagscheduler负责将一组任务提交给taskscheduler以后，这组任务的调度任务对于他来说就算完成了。接下来这组任务内部的调度逻辑则是由tastse…

在Spark SQL 编程时，经常需要对获取的DataFrame 对象进行map 操作。map 基于的元素是Row. 那么如何操作Row呢？ 1. 使用Row 提供的 get方法，获取需要的列 2. 使用类型匹配，显示的…

并继承了Scala REPL(读取-求值-打印-循环)(Read-Evaluate-Print-Loop)的所有功能。