Apache Spark使用的python版本

Apache Spark库支持哪个版本的
python(2或3)?

如果它支持两个版本,使用Apache-Spark时是否有使用python 2或3的性能注意事项? 最佳答案 至少从Spark 1.2.1开始,默认的
Python版本是2.7,否则使用PYSPARK_PYTHON或PYSPARK_DRIVER_PYTHON设置为2.7(见
bin/pyspark).

自Spark 1.4.0起支持Python 3(参见SPARK-4897Spark 1.4.0 release notes).

选择一个应该取决于您的要求.如果你不确定的话,阅读Should I use Python 2 or Python 3 for my development activity?可能是明智之举.除此之外,它很可能远远超出SO的广泛和主观主题.

点赞