Spark支持Java, Scala和Python。本身是用Scala写的。

参考书

• Learning Spark: Lightning-fast big data analytics
• Spark快速大数据分析
• Mastering Apache Spark

参考

• Quick Start
• Spark Scala API

Python用起来很方便，但是用Scala写的能直接打包成jar，用于线上部署。

Mac安装

• 安装命令
• brew install scala@2.12
• brew install apache-spark
• 版本
• Scala: 2.12
• Spark 2.4 (hadoop 2.7)

启动

• scala
• spark-shell