模式匹配是scala中非常有特色, 非常强大的一种工. 模式匹配, 其实类似于java的switch语法, 即对一个值进行判断, 然后针对不同的条件, 进行不同的处理. 但是scala的模式匹配的功能比java的swit…
标签:scala
2018年第45周-scala入门-函数式编程
重头戏来了! scala中的函数是java中完成没有的概念. 因为java是完全面向对象的编程语言, 没有任何面向过程编程语言的特性, 因此java中的一等公民是类和对象, 而且只有方法的概念, 即寄存和依赖于类和对象中…
2018年第44周-scala入门-面向对象基础语法
scala和java都是可以运行在JVM上, 所以scala和java是可以互相调用, 那么问题来了, 既然已经有java语言存在, 为什么还要发明scala语言. 存在即合理, 所以我就想找下scala的合理之处. 其…
2018年第42周-scala入门-基本语法
让事情变得更加简单方便, 注意是简单方便, 而事情内在的复杂性并没有降低. 变量定义 变量是一种使用方便的占位符,用于引用计算机内存地址。 Scala有两种变量,val和var。val类似于java的final变量。va…
几种方式实现WordCount
精简的Shell cat /home/sev7e0/access.log | tr -s ' ' '\n' | sort | uniq -c | sort -r | awk '{print $2, $1}' #cat 命…
2018年第40周-scala入门-工具使用
工欲善其事必先利其器 简介 Scala是一个什么样的语言,很多人都可以百度到。 而且很多人学Scala,也是为了想能够灵活的运用spark来处理大数据。 在学习某门语言之前,先要熟悉其环境或工具。而表达工具是怎样使用,其…
spark本地环境的搭建到运行第一个spark程序
搭建spark本地环境 搭建Java环境 (1)到官网下载JDK下载地址:点击这里(2)解压缩到指定的目录 >sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib…
程序员如何预估自己的项目开发时间?
项目时间的估算对项目的成败至关重要。项目时间管理包括了项目按时完成所需的各个过程。但是,在实际项目中,经常出现项目延期,估算严重不准确的现象。 预估时间本身就很难。每个程序员的估计都会跟真正需要的时间有些差距。估计时间短…
Spark的分区机制的应用及PageRank算法的实现
佩奇排名(PageRank),又称 网页排名、 谷歌左侧排名,是一种由 搜索引擎根据 网页之间相互的 超链接计算的技术,而作为网页排名的要素之一,以 Google公司创办人 拉里·佩奇(Larry Page)之姓来命名。…
Spark整合Elasticsearch-从ES读取数据
Spark整合Elasticsearch-从ES读取数据 由于ES集群在拉取数据时可以提供过滤功能,因此在采用ES集群作为spark运算时的数据来源时,根据过滤条件在拉取的源头就可以过滤了(ES提供过滤),就不必像从hd…
Akka单元测试
actor测试需了解scalatest,在多节点测试时,还需要使用sbt进行。 scalatest scalatest是一个特别针对scala语言设计的单元测试框架,除了提供必要的基类和断言系统外,scalatest可以…
【Scala谜题】继承
笔记来源: Scala谜题 多级继承 Scala 支持面向对象的编程概念,继承是它的一个很重要的特征。继承通常对父类和特质中定义的缺省值的重载很有用。当增加多级继承时事情变得更加有趣,例如下面这段程序。 trait A …