此文主要记录学习spark2.0例子的一些信息。 spark2基本不需要安装配置,直接装上scala就行。当然,有些example是依赖hadoop的hdfs的。因此你的机器上得先装好对应版本的hadoop。 spark…
标签:scala
scala – InvalidActorNameException – actor名称{name}不是唯一的
所以我开始在我的Play 2.0应用程序中使用Akka actor.我很快注意到重复调用向同一个actor发送消息,通过以下方式指定: val myActor = Akka.system.actorOf(Props[My…
如何在ScalaTest测试中正确使用Spark?
我有多个 ScalaTest类,它们使用BeforeAndAfterAll构造一个SparkContext并在之后停止它,如下所示: class MyTest extends FlatSpec with Matchers…
scala中:: , +:, :+, :::, +++的区别
初学scala的人都会被Seq的各种操作符所confuse。下面简单列举一下各个Seq操作符的区别。 4种操作符的区别和联系 :: 该方法被称为cons,意为构造,向队列的头部追加数据,创造新的列表。用法为 x::lis…
Redis 功能入门大全和基于scala的应用实现(1)
文章列表: Redis 功能入门大全和基于scala的应用实现(1) 概要 Redis server 基于5.0.0的stable版本 Client基于 Jedis 2.9.0 Scala 基于 2.11.X 前言 Re…
使用Gatling做web压力测试
Gatling是什么 Gatling是一个使用Scala编写的开源的负载测试框架,基于Akka和Netty,具有以下亮点: 高性能 友好的HTML报告 基于情境的记录器(recoder),对开发友好的DSL Gatlin…
IntelliJ IDEA安装scala插件后,创建scala项目,编写spark程序,并通过sbt打包
1、scala版本:1.6.2;spark版本:2.10.5;sbt版本:0.13.8(在idea创建Scala项目时,选择对应的版本);2、在build.sbt中添加如下: libraryDependencies ++…
2018年第47周-scala入门-类型参数
类型参数类似于Java中的泛型。注意了,是类型参数,不是参数类型, 顾名思义,就是把类型作为参数。跟Java泛型一样,在集合,类,函数中定义参数类型,然后保证 使用到该类型参数的地方,只能用这种类型,否则编译器报错。在编…
scala – 为什么反引号构造函数参数中的空格会破坏编译器?
空格和排序的某种组合与参数名称中的反引号一起,其中反引号名称与另一个参数具有相同的前导字符似乎误导编译器产生编译错误: 声明 case class A(`abc def`: List[Int], abc: String)…
Scala笔记(2)
1. Array(“j.cole”,”big sean”,”kendrick”,”drake”) Array.mkstrin…
【Scala之旅】控制结构和注解
本节翻译自 For Comprehensions Annotations 综述:本节介绍了for推导式的使用;学习如何使用Scala特有的注解,以及如何与Java注解实现互操作。 for推导式 Scala提供了一个轻量级…
scala – Akka-streams – 如何将flatMapConcatenated的source的物化值转换为另一个源?
我试图从Future [Source [Out,Mat]]创建一个Source [Out,Mat],并使用内置的source.fromFuture与flatMapConcat结合使用.但是,当使用fromFuture时,…