创建没有ssh无密码访问权限的spark集群

2023年12月27日 212次阅读

如何在没有设置无密码访问的ssh的情况下设置spark集群,因为
document提到：

If you do not have a password-less setup, you can set the environment variable SPARK_SSH_FOREGROUND and serially provide a password for each worker.

我想知道如何使用SPARK_SSH_FOREGROUND变量？

最佳答案环境变量SPARK_SSH_FOREGROUND可以设置为yes或y,以在前台执行ssh

正如您在源代码中看到的：

if [ "${SPARK_SSH_FOREGROUND}" = "y" ] || [ "${SPARK_SSH_FOREGROUND}" = "yes" ]; then
ssh $SPARK_SSH_OPTS "$slave" $"${@// /\\ }" \