apache-spark – 数据集到数据集,类型为Any

2023年12月14日 341次阅读

我最近从Spark 1.6迁移到了Spark 2.X,我想在可能的情况下从Dataframes转移到Datasets.我尝试了这样的代码

case class MyClass(a : Any, ...)

val df = ...
df.map(x => MyClass(x.get(0), ...))

正如您所看到的,MyClass有一个Any类型的字段,因为我在编译时不知道我用x.get(0)检索的字段的类型.它可能是long,string,int等.

但是,当我尝试执行类似于上面所见的代码时,我得到一个例外：

java.lang.ClassNotFoundException: scala.Any

通过一些调试,我意识到引发了异常,不是因为我的数据是Any类型,而是因为MyClass的类型为Any.那么我该如何使用数据集呢？

最佳答案 除非你对像Encoders.kryo这样的
limited and ugly workarounds感兴趣：

import org.apache.spark.sql.Encoders

case class FooBar(foo: Int, bar: Any)

spark.createDataset(
  sc.parallelize(Seq(FooBar(1, "a")))
)(Encoders.kryo[FooBar])

要么

spark.createDataset(
  sc.parallelize(Seq(FooBar(1, "a"))).map(x => (x.foo, x.bar))
)(Encoders.tuple(Encoders.scalaInt, Encoders.kryo[Any]))

你没有.数据集中的所有字段/列必须是已知的同类型,并且范围中存在隐式编码器. Any那里根本没有地方.

UDT API提供了更多的灵活性并允许有限的多态性,但它是私有的,与Dataset API不完全兼容,并且具有显着的性能和存储损失.

如果对于给定的执行,所有相同类型的值当然可以创建专用类并决定在运行时使用哪一个.

点赞