我得到一个流< A,B> (这是一个奇特的流/图形东西,见 https://doc.akka.io/api/akka/current/akka/stream/scaladsl/Flow.html)来自我控制之…
标签:scala
scala – Sbt,编译编译器桥
我想用sbt构建一个docker镜像. 这是我有的: FROM kondaurov/jdk-alpine:jdk8slim ENV SBT_VERSION=1.2.1 RUN \ echo "$SBT_VERSION" …
scala – 在Spark Structured Streaming中外连接两个数据集(不是DataFrame)
我有一些代码将两个流式DataFrames和输出连接到控制台. val dataFrame1 = df1Input.withWatermark("timestamp", "40 seconds").as("A") val…
scala – 按某些列值拆分Spark数据帧,然后独立于其他列旋转每个生成的数据帧
我正在尝试根据一个(或多个)列的值拆分数据帧,并独立于其余列旋转每个结果数据帧.即,给定输入数据帧: val inputDF = Seq(("tom","20","a","street a","germany"),("j…
Scalac bug或我的误解?
我在我的SBT构建中设置-Xfatal-warnings编译器标志,确定这段代码不能编译: package example sealed trait Errors object Errors { case class B…
使用scala中的选项(最佳实践)
我有一个方法,我写的方法是通过执行api调用来增加人员数据并添加丰富的数据. 所以我有这个案例类: case class Person(personData: PersonData, dataEnrichment: Op…
scala – sbt – 对象apache不是包org的成员
我想使用sbt部署并提交一个spark程序,但是它的抛出错误. 码: package in.goai.spark import org.apache.spark.{SparkContext, SparkConf} obj…
为什么scala的`GenTraversableOnce`没有声明`map`?
GenTraversableOnce不会将map声明为(抽象)成员,但它的直接子节点 GenTraversable和 TraversableOnce都是如此(尽管后者使用隐式转换).为什么? 如果我需要一个实现map的集…
scala – 在使用该UDF的列上添加过滤器时,Spark Sql UDF抛出NullPointer
SPARK_VERSION = 2.2.0 在尝试对具有使用UDF添加的列的数据框进行过滤时,我遇到了一个有趣的问题.我可以使用较小的数据集来复制问题. 鉴于虚拟案例类: case class Info(number: …
编码三种方式包含 – 或在Scala中键入
我有一些由三个字段组成的数据,比如说String,Int和Double. 它们都是可选的,但整个事物必须至少包含其中一个字段. 我试过cats.data.Ior,比如MyType = String Ior Int Ior…
scala – 如何从每列的列中提取特定元素?
我在Spark 2.2.0和 Scala 2.11.8中有以下DataFrame. +----------+-------------------------------+ |item | other_items | +…
scala – 无法使用Akka-Http验证OAuth2
您有使用Akka-Http开发的服务.我必须添加OAuth,根据 documentation,我使用authenticateOAuth2. 但是代码没有编译并给出错误 Type mismatch, expected: (…