文章也同时在个人博客 http://kimihe.com/更新
引言
“Apache Spark™ is a fast and general engine for large-scale data processing.”
Spark是一种高性能分布式计算框架。它基于RDD使用内存来加速迭代过程。相比于前辈Hadoop，Spark有着更好的性能表现，尤其针对Machine Learning此类典型的应用，提升更为显著。
作为入门指南的第四篇，本文将抛砖引玉介绍Spark源码开发。
前文：
下载Spark源代码
Spark Download地址: 选择2.2.0版本以及Source Code模式。
编译Spark源代码
进入源码根目录，输入如下命令进行编译：
> export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"
> ./build/mvn -DskipTests -e clean package
产生的jar包集合位于./assembly/target/scala-2.11/jars/目录下。
IntelliJ IDEA工程
修改源码后，重复执行前小节的编译命令，得到新的jar包集合。
之后可以新建一个新工程，使用上述产生的jar包集合。
- 新建一个project，选择Scala -> IDEA型。
- File -> Project Structure -> Libararies， 将jar包集合导入。
上述两步的操作，与“新建SBT型工程 -> 配置build.sbt -> 让IDEA自动去下载Spark相关库依赖”的作用类似。
- 后续编写与测试应用的步骤与之前文章所讲的IDEA应用开发流程相同。可参考：《Spark入门指南 II – 使用IntelliJ IDEA开发》。
备注：根据笔者的开发习惯，通常会准备Reading，Modifying，Testing三个project，分别用于源码的阅读与分析，修改与编译，测试与运行。
这三个project用于本地单机调试，测试无误后，再部署至服务器集群上。
至此，抛砖引玉的“Spark源码开发”介绍完毕。
总结
作为Spark入门指南的第四篇，本文抛砖引玉地介绍了Spark的源码开发。
后续笔者将介绍Scala这门语言，重点阐述其Akka of Actor模型。
