本节翻译自 Type Inference Higher-order Functions Nested Methods Multiple Parameter Lists (Currying) 综述:Scala混合了面向对象…
标签:scala
Scala基础语法(一)
1.变量 val/var val/var 变量名:类型=值 1.1 定义变量的关键字 val 不可变的 var 可变的 1.2 声明与赋值同时定义 只能对var赋默认值,参数类型必须给定,值为 _ eg: var str…
【Scala之旅】参数与操作符
本节翻译自 Default Parameter Values Named Arguments Operators Extractor Objects 综述:本节介绍了函数中默认参数和带名参数;操作符以及标识符的优先级,还…
【Scala之旅】控制结构和注解
本节翻译自 For Comprehensions Annotations 综述:本节介绍了for推导式的使用;学习如何使用Scala特有的注解,以及如何与Java注解实现互操作。 for推导式 Scala提供了一个轻量级…
【Scala之旅】特质与高级类型
本节翻译自 Traits Abstract Types Self-type Compound Types 综述:在本节中,你将学会如何使用特质;以及抽象类型、自身类型和复合类型这几个高级类型。 特质 特质用于在类之间共享…
【Scala之旅】类与对象
本节翻译自 Classes Class Composition with Mixins Inner Classes Singleton Objects 综述:本节中你将会学习如何使用Scala实现类,以及Scala相比J…
【Scala之旅】基础知识
本节翻译自 Introduction Basics Unified Types 综述:介绍了什么是Scala,Scala的基础语法、类型层次结构,以及包和引入。 简介 欢迎光临 此旅途包含了一些精简的介绍:介绍Scala…
Spark DataFrame 使用UDF实现UDAF的一种方法
Background: 当我们使用Spark Dataframe的时候常常需要进行group by操作,然后针对这一个group算出一个结果来。即所谓的聚合操作。 然而 Spark提供的 aggregation函数太少,…
机器学习Ng课程笔记——线性回归算法
定义 假设函数与代价函数(损失函数) 特征量放缩 最小化代价函数 收敛判定 1.什么是线性回归 在统计学中,线性回归是利用被称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间的关系进行建模的一种回归分析。在回归…
Scala常用集合概述
Scala的集合分为可变集合与不可变集合,可变集合表示这个集合中的元素可被添加,更新,删除。不可变集合表示对此集合操作以后会产生一个新的集合,而原来这个集合不改变。 所有的集合都在scala.collection包下面并…
IntelliJ IDEA安装scala插件后,创建scala项目,编写spark程序,并通过sbt打包
1、scala版本:1.6.2;spark版本:2.10.5;sbt版本:0.13.8(在idea创建Scala项目时,选择对应的版本);2、在build.sbt中添加如下: libraryDependencies ++…
在pyspark中调用scala代码
在pyspark中调用scala代码 情境说明 问题 我们这边是要使用Spark去并行一个自然语言处理的算法,其中使用到了LDA主题模型。由于使用的是天河二号,Spark版本是1.5.1,pyspark同样,所以获取主题…