Background: 当我们使用Spark Dataframe的时候常常需要进行group by操作，然后针对这一个group算出一个结果来。即所谓的聚合操作。 然而 Spark提供的 aggregation函数太少，…

本节翻译自 Case Classes Pattern Matching 综述：模式匹配是一个十分强大的机制，可以应用在很多场合：switch 语句、类型查询，以及“析构”（获取复杂表达式中的不同部分）。样例类针对模式匹配…

scala从语法上供应了curried要领，如： def add(x: Int, y: Int, z: Int) = x + y + z val addCurried = (add _).curried add(1, 2…

Databricks Scala 编程风格指南 声明 (Disclaimer) The Chinese version of the Databricks Scala Guide is contributed and m…

笔记来源： Scala谜题 在 REPL 中执行以下代码会是什么结果呢？ var MONTH = 12; var DAY = 24 var (HOUR, MINUTE, SECOND) = (12, 0, 0) 这里涉及…

笔记来源： Scala谜题 在许多面向对象的语言中，常常在类构造器中接受参数，目的是将参数赋值给类成员。 执行下面的代码会是什么结果呢？ trait A { val audience: String println("H…

让事情变得更加简单方便, 注意是简单方便, 而事情内在的复杂性并没有降低. 变量定义 变量是一种使用方便的占位符，用于引用计算机内存地址。 Scala有两种变量，val和var。val类似于java的final变量。va…

Day3 数组: 存放一系列元素的容器 1.分类: 不可变数组 定长数组 Array 可变数组 缓冲数组 数组缓存 ArrayBuffer (集合,Seq) ArrayBuffer位于scala.collection.m…

在数据挖掘中，Python和Scala语言都是极受欢迎的，本文总结两种语言在Spark环境各自特点。 本文翻译自  https://www.dezyre.com/article/Scala-vs-Python-…

sealed trait Desc { type T } trait Dataset[A] { def toDS[A] = new Dataset[A] {} } trait DataFrame {} sealed tr…

我注意到如果不推荐使用case类,那么它的伴随对象不会. scala> @deprecated case class A(x: Int) warning: there was one deprecation war…

我正在尝试将Spark数据框保存到Google Cloud Storage.我们能够将数据帧格式保存到S3,但由于我们的服务器是Google Compute Engine,因此S3会产生巨大的数据传输成本.我想是否可以为…