Spark 2.3.1数据导入ElasticSearch 5.5.3 TODO
分类:scala
spark本地环境的搭建到运行第一个spark程序
搭建spark本地环境 搭建Java环境 (1)到官网下载JDK下载地址:点击这里(2)解压缩到指定的目录 >sudo tar -zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib…
程序员如何预估自己的项目开发时间?
项目时间的估算对项目的成败至关重要。项目时间管理包括了项目按时完成所需的各个过程。但是,在实际项目中,经常出现项目延期,估算严重不准确的现象。 预估时间本身就很难。每个程序员的估计都会跟真正需要的时间有些差距。估计时间短…
spark应用中jackson版本冲突的解决
spark程序里使用了jackson去做scala对象的json序列化和反序列化。运行时出现java.lang.NoClassDefFoundError和java.lang.AbstractMethodError错误,网…
Safetype Config使用
最近在写spark程序,想找一个配置管理的库,发现了这个,记录一下简单的使用 1.添加maven依赖项 <dependency> <groupId>com.typesafe</groupId…
Spark的分区机制的应用及PageRank算法的实现
佩奇排名(PageRank),又称 网页排名、 谷歌左侧排名,是一种由 搜索引擎根据 网页之间相互的 超链接计算的技术,而作为网页排名的要素之一,以 Google公司创办人 拉里·佩奇(Larry Page)之姓来命名。…
Idea+maven+scala构建包并在spark on yarn 运行
配置Maven项目 在pom.xml配置文件中配置spark开发所需要的包,根据你Spark版本找对应的包,Maven中央仓库 <dependency> <groupId>org.apache.s…
Spark整合Elasticsearch-从ES读取数据
Spark整合Elasticsearch-从ES读取数据 由于ES集群在拉取数据时可以提供过滤功能,因此在采用ES集群作为spark运算时的数据来源时,根据过滤条件在拉取的源头就可以过滤了(ES提供过滤),就不必像从hd…
Akka单元测试
actor测试需了解scalatest,在多节点测试时,还需要使用sbt进行。 scalatest scalatest是一个特别针对scala语言设计的单元测试框架,除了提供必要的基类和断言系统外,scalatest可以…
在浏览器里使用SAPGUI
事务码SICF,service name输入WEBGUI,点右键,选择Test Service: 可以在浏览器里敲SE38进入ABAP editor了: 然么缺乏语法高亮显示: 如果想要浏览器里的语法高亮显示,参考我的S…
【Scala谜题】继承
笔记来源: Scala谜题 多级继承 Scala 支持面向对象的编程概念,继承是它的一个很重要的特征。继承通常对父类和特质中定义的缺省值的重载很有用。当增加多级继承时事情变得更加有趣,例如下面这段程序。 trait A …
【Akka扩展】Akka Extensions
如果你想为 Akka 添加功能,那么有一个非常优雅且功能强大的机制。它被称为 Akka 扩展(Akka Extensions),由2个基本组件组成:Extension 和 ExtensionId。 每个 ActorSys…