两个RDD不能嵌套计算: Caused by: org.apache.spark.SparkException: RDD transformations and actions can only be invoked b…
分类:scala
Spark RDD学习: aggregate函数
最近在做项目的时候遇到了Spark RDD里面的一个aggregate函数,觉得它的用法挺有意思的,在此记录一下。 Spark 文档中对 aggregate的函数定义如下: def aggregate[U](zeroVa…
json4s使用指南
json4s是一个基于scala的json解析库。 安装依赖 假设使用SBT进行配置: val json4sJackson = "org.json4s" %% "json4s-jackson" % "{latestVer…
Scala and Maven
构建Scala的工程常用sbt,sbt固然灵活,功能强大,却也难以精通,且在国内使用往往遇到网络不畅通的情况。虽然可以使用Repox公服和Coursier加速,却也浪费程序员们宝贵的时间。 Maven虽然死板,在各大公司…
Kafka消息存储之FileMessageSet
摘要 看过前面几篇博客的盆友可能会问,逼逼了这么多还不知道消息到底存到哪儿了,分明标题党嘛。这一次我们就来看与存储切实相关的底层操作类FileMessageSet。它是MessageSet的一个子类,操作消息和文件之间的…
Kafka消息存储之MessageWriter
摘要 MessageWriter是Kafka进行消息写的工具类,这一部分代码倒是和整个系统设计没有多大关系,但是从局部来看,有许多有意思的细节,所以也开一篇短博客来讲一讲。 MessageWriter的设计意图 首先让我…
光剑免费图书馆
光剑免费图书馆: (馆藏上万本免费电子书) https://universsky.github.io/ 读书使人充实,讨论使人机智,笔记使人准确,读史使人明智,读诗使人灵秀,数学使人周密,科学使人深刻,伦理使人庄重,逻辑…
PHP设计模式——状态模式
前言 状态设计模式是Gof提出的最吸引人的模式之一,也是一种最有用的模式。游戏通常就采用状态模式,因为游戏中的对象往往会非常频繁地改变状态。状态模式的作用就是允许对象在状态改变时改变其行为。还有很多其他模拟应用(不一定是…
Akka actor tell, ask 函数的实现
tell (!) final def tell(msg: Any, sender: ActorRef): Unit = this.!(msg)(sender) tell 函数是 actor 的核心,actor 是事件 (…
spray test 源码分析
观察对象,一段 spray 代码: Post("ur", HttpEntity(ContentTypes.`application/json`, jsonData)) .withHeaders(userHeader) ~…
flink 1.1 和 storm 0.10 API 实例对比
flink 1.1 和 storm 0.10 API 实例对比 本来标题想叫 flink 和 storm API 实例对比,发现它们最近 API 都变更频繁,就加上了版本号,storm 在 1.0 版本后增加了 IWin…
scala-graph by example (0) visualization
Graph Theory should be illustrated. I’m starting to learn scala-graph by example. In each post, I will p…