apache-spark – 检查点RDD ReliableCheckpointRDD与原始RDD具有不同数量的分区

2023年1月13日 306次阅读

我有两台机器的火花簇,当我运行火花流应用程序时,我得到以下错误：

Exception in thread "main" org.apache.spark.SparkException: Checkpoint RDD ReliableCheckpointRDD[11] at print at StatefulNetworkWordCount.scala:78(1) has different number of partitions from original RDD MapPartitionsRDD[10] at updateStateByKey at StatefulNetworkWordCount.scala:76(2)
    at org.apache.spark.rdd.ReliableRDDCheckpointData.doCheckpoint(ReliableRDDCheckpointData.scala:73)
    at org.apache.spark.rdd.RDDCheckpointData.checkpoint(RDDCheckpointData.scala:74)

如何在不是HDFS / Cassandra /任何其他数据存储的文件系统上提供检查点目录？

我想到了两种可能的解决方案,但我不知道如何对它们进行编码：

>有一个远程目录,对于两个工作者来说都是本地的
>为两个worker指定一个远程目录

有什么建议 ？

最佳答案 好的,所以我能够继续第一个选项.

我在所有工作人员上安装了一个远程目录作为检查点,它工作得很好.

How to mount the remote checkpoint directory on the workers:

sudo apt-get install sshfs
Load it to kernel

sudo modprobe fuse

sudo adduser username fuse

mkdir ~/checkpoint

sshfs ubuntu@xx.xx.x.xx:/home/ubuntu/checkpoint ~/checkpoint
点赞