有时候在编写Spark代码的时候本地调试通过但是提交到集群后无法运行,报如下错误: java.util.NoSuchElementException: None.get at at ....... 出现原因 出现这种报错…
标签:scala
Spark之PI本地
本文讲述的是如何在IDEA里编写一个计算PI的Spark程序。 主要内容: 1.安装Scala 2.编写ScalaPI 相关文章: 1.Spark之PI本地 2.Spark之WordCount集群 3.SparkStre…
Windows上搭建Standalone模式的Spark环境
Java 安装Java8,设置JAVA_HOME,并添加 %JAVA_HOME%\bin 到环境变量PATH中 E:\java -version java version "1.8.0_60" Java(TM) SE R…
Mac下单机版Spark配置
为了学习spark,自己在mac上搞了一个单机版的spark,一切还算顺利,安装过程如下(默认jdk已经成功安装): 1、安装Scala 下载压缩包并解压 首先我们要到官网下载安装包。官网传送门: http://www.…
Spark本地: Scala实例
1. 目的 在Spark提供的Scala环境, 编写实例, 测试Scala语法 2. 实例 2.1 读取本地文件 数据读取与保存 # test.txt如下: abcd heihei heihei # 读取文件, 并对每行…
学习笔记二:spark单节点搭建
0 前言 关于hadoop搭建可参见hadoop单节点搭建。当然你有多服务器或设备支持,也可直接参见搭建Spark集群 1 安装scala 下载scala-2.11.8 $ wget https://downloads.…
Spark核心理念-弹性分布式数据集 简介
Resilient Distribute DataSet RDD是Spark最核心的理念, 要掌握Spark, 首先要把RDD这个概念搞明白. 下面我将尝试去解释一下RDD的概念. 如果你使用过Scala的集合类库, 那…
Windows下Spark环境搭建
1.首先确认jdk的安装,我这里是jdk8 2.Scala的安装 从Scala下载Scala,需要注意Scala与Spark版本的对应关系。我这里使用的是Spark2.0.0,Scala选择版本2.11.8。下载二进制版…
Spark 伪分布式部署
1. 前言 1.1 Spark 简介 Spark 是快速和通用的大数据处理引擎。Spark的内存计算速度是Hadoop MapReduce的100倍。Spark支持Java、Scala、Python、和R开发,方便我们开…
Spark 应用场景示例
Spark 应用场景示例 Spark 项目搭建 环境介绍 框架 版本 Centos 7 Java 8 Scala 2.11.12 SBT 1.0 Spark 2.3.0 IDEA plugin Scala 准备工作 搭建…
Spark 1.6.0 单机安装配置
Spark 1.6单机环境的安装准备 Spark官网文档描述的是: Spark runs on Java 7+, Python 2.6+/3.4+ a…
Spark常用的算子以及Scala函数总结
Spark与Scala 首先,介绍一下scala语言: Scala 是一种把面向对象和函数式编程理念加入到静态类型语言中的混血儿。 为什么学scala? spark提供了R、Python等语言的接口,为什么还要重新学一门…