Spark学习笔记 Data Source->Kafka->Spark Streaming->Parquet->Spark SQL(SparkSQL可以结合ML、GraphX等)->Parq…
标签:scala
eclipse构建maven+scala+spark工程
eclipse插件安装 eclipse版本:Luna Release(4.4.0) 这里需要安装有关maven和scala的插件。 m2e插件 m2e插件用于提供maven功能。直接在eclipse的Marketplac…
Spark-shell&Scala(一)
Spark-shell启动与退出 启动 在spark的bin目录中启动: ./spark-shell 进入spark shell中 退出 在scala> 中输入: :quit 退出(前面有个冒号) Scala基础 …
spark应用开发-开发工具篇
概要 目前Spark官方提供Java,Scala,Python三种语言的API。因为Spark是用Scala开发,而Scala本身是基于JVM的语言,所以Scala和Java的API完整稳定;Python相对不太完整,有…
spark题05
1.scala中private 与 private[this] 修饰符的区别? private[包名],private[this] 可以放在字段,方法和类上,用来限制访问权限; private[包名] 包名可以是父包名或…
Spark On YARN 集群安装部署
本文展示了在之前搭建的Hadoop分布式集群的基础上如何搭建Spark分布式集群环境 一、已有环境 ubuntu 14.04 hadoop 2.7.1 集群安装参考 三台机器 master、slave1、slave2 二…
Spark Example
此文主要记录学习spark2.0例子的一些信息。 spark2基本不需要安装配置,直接装上scala就行。当然,有些example是依赖hadoop的hdfs的。因此你的机器上得先装好对应版本的hadoop。 spark…
【Spark】配置Spark源码阅读环境
Scala构建工具(SBT)的使用 SBT介绍 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的…
启动spark-shell出错原因
安装好spark,scala, java, hadoop并设置好相应环境变量后,在终端输入spark-shell时出现以下错误: Failed to initialize compiler: object java.la…
Windows下使用Intellij 搭建Spark开发环境
准备工作# 安装JDK 安装scala 2.10.* 下载Intellij IDEA 下载 Spark Pre-build for hadoop 2.6 and later. http://spark.apache.or…
Spark 编程基础
RDD编程 RDD创建: 第一种:读取一个外部数据集。比如,从本地文件加载数据集,或者从HDFS文件系统 从文件系统中加载数据创建RDD 从本地加载: scala> val lines = sc.textFile(…
Spark 分布式计算框架之环境搭建
Spark 的开发语言是 Scala,而 Scala 运行于 JVM 之上,因此,搭建 Spark 的运行环境应该包括 JDK 和 Scala (本文的操作均在 64位 ubuntu 16.04 操作系统下进行) 1. …