如何在ScalaTest测试中正确使用Spark？

2024年1月18日 342次阅读

我有多个
ScalaTest类,它们使用BeforeAndAfterAll构造一个SparkContext并在之后停止它,如下所示：

class MyTest extends FlatSpec with Matchers with BeforeAndAfterAll {

  private var sc: SparkContext = null

  override protected def beforeAll(): Unit = {
    sc = ... // Create SparkContext
  }

  override protected def afterAll(): Unit = {
    sc.stop()
  }

  // my tests follow
}

从IntelliJ IDEA启动时,这些测试运行正常,但是当运行sbt test时,我得到WARN SparkContext：正在构造另一个SparkContext(或者在其构造函数中抛出异常).这可能表示错误,因为在此JVM中只能运行一个SparkContext(请参阅SPARK-2243).之后,我认为还有一些其他异常与此问题有关.

如何正确使用Spark？我是否必须为整个测试套件创建一个全局SparkContext,如果是,我该怎么做？

最佳答案 好像我失去了树木的视线,我忘了build.sbt中的以下一行：

parallelExecution in test := false

使用此行,测试运行.

点赞