如何使用Azure自动化从HDInsight启动Spark 2.0

2023年3月15日 250次阅读

我无法弄清楚如何从Azure自动化图形Runbook启动HDInsight Spark 2.0.我有一个现有的Runbook,可以使用Spark 1.6与HDInsight配合使用.通常,我会将版本字符串从3.4更新到3.5,但似乎有两个版本的HDInsight 3.5 – 一个使用Spark 2.0,另一个使用1.6.

有谁能告诉我如何让我的Runbook使用Spark2.0版本？

版本参考：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning#hadoop-components-available-with-different-hdinsight-versions

最佳答案 我确实使用ARM模板确定了如何执行此操作.希望这将有助于您关于Runbook.这是执行2.0集群的JSON.注意clusterVersion和componentVersion部分.

...
"resources": [
    {
        "apiVersion": "2015-03-01-preview",
        "name": "somename",
        "type": "Microsoft.HDInsight/clusters",
        "location": "northcentralus",
        "dependsOn": [],
        "properties": {
            "clusterVersion": "3.5",
            "osType": "Linux",
            "tier": "standard",
            "clusterDefinition": {
                "kind": "spark",
                "componentVersion": {
                    "Spark": "2.0"
                },
...
点赞