本文作者主要以诸葛io背后的大数据平台设计为重点展开讲解。 从本质上来讲,大数据平台的目标都是完成对数据的采集、清洗、加工、加载、建模分析,可视化的过程。 一、大数据平台的通用架构 1. 数据采集:采集是指集中企业待分析…
标签:scala
Gatling-实现session传递处理过的参数
文章主要介绍gatling测试过程中遇到上一个request返回参数,需要经过调用第三方jar包方法签名后再传递至第二个request中作为参数,发起请求。 调用第三方jar包需要用到gatling工具中session方…
Spark Streaming 避坑的注意事项
两个RDD不能嵌套计算: Caused by: org.apache.spark.SparkException: RDD transformations and actions can only be invoked b…
Scala and Maven
构建Scala的工程常用sbt,sbt固然灵活,功能强大,却也难以精通,且在国内使用往往遇到网络不畅通的情况。虽然可以使用Repox公服和Coursier加速,却也浪费程序员们宝贵的时间。 Maven虽然死板,在各大公司…
光剑免费图书馆
光剑免费图书馆: (馆藏上万本免费电子书) https://universsky.github.io/ 读书使人充实,讨论使人机智,笔记使人准确,读史使人明智,读诗使人灵秀,数学使人周密,科学使人深刻,伦理使人庄重,逻辑…
Akka actor tell, ask 函数的实现
tell (!) final def tell(msg: Any, sender: ActorRef): Unit = this.!(msg)(sender) tell 函数是 actor 的核心,actor 是事件 (…
spray test 源码分析
观察对象,一段 spray 代码: Post("ur", HttpEntity(ContentTypes.`application/json`, jsonData)) .withHeaders(userHeader) ~…
Scala关键字lazy的理解和使用
Scala中使用关键字lazy来定义惰性变量,实现延迟加载(懒加载)。惰性变量只能是不可变变量,并且只有在调用惰性变量时,才会去实例化这个变量。 在Java中,要实现延迟加载(懒加载),需要自己手动实现。一般的做法是这样…
scala初体验
函数式编程第一天感受: 表达式,一切都是表达式 函数是一等公民,函数可以在任何位置定义和使用 用递归实现循环,有点意思 习惯了C和JAVA命令式编程方式,思维有的时候还是转不过来
强制Scala函数产生“副作用”
最近看到一个有意思的题目:波斯公主选驸马链接 ,手痒想写代码模拟实现一下。正好在做scala的项目,自然就想用scala来实现。 模型里首先要实现一个”洗牌算法” ,该算法用java实现的话如下:…
Springboot使用velocity模板引擎
第五章 使用velocity模板引擎 最爽的Web组合开发就是Intellij IDEA + Maven + Spring Boot + Scala + Velocity + Boostrap + jQuery了. Sp…
Springboot中使用Scala开发
使用SB與Scala 項目代碼 本章項目代碼: https://github.com/LightSwordSpringBoot/lightsword JVM上的語言家族 JVM上的語言 Scala Java Groovy…