apache-spark – spark-shell：初始堆大小无效

2023年8月31日 252次阅读

我在
Linux上运行spark-1.6.1,当我将spark-env.sh中的SPARK_DRIVER_MEMORY设置为4g并运行spark-shell时,我得到了这个：

Invalid initial heap size: -Xms4g
The specified size exceeds the maximum representable size.
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

如何增加最大可表示大小？
如果我设置SPARK_DRIVER_MEMORY = 3g(或低于3g),一切正常.
附：我的计算机内存超过4g,我的jdk是1.6,它是64位.

最佳答案 如果你正在运行Spark on Yarn那么

Spark.driver.memory应小于纱线容器内存

因为火花应用将在纱线容器内运行

Spark.driver.memory(spark-default.conf)< yarn.scheduler.maximum分配-MB(纱-site.xml中) 有关详细信息,请参阅here

点赞