spark最初是由伯克利大学的amplab于2009年提交的一个项目，现在已经是Apache软件基金会最活跃的项目，对于spark,apache给出的官方定义是：spark是一个快速和通用的大数据处理引擎。可以理解为一个分布式大数据处理框架，spark是基于Rdd(弹性分布式数据集)，立足于内存计算，在“one stack to rule them all” 的思想引导下 ，打造了一个可以流式处理（spark streaming）,机器学习（mllib）,实时查询（spark sql）,图计算（graphx）等各种大数据处理，无缝连接的一栈式计算平台，由于spark在性能和扩展上快速，易用，通用的特点，使之成为一个一体化，多元化的大数据计算平台。

spark的一栈式优势

1 快速处理，比hadoop快100倍，因为spark是基于内存计算，而hadoop是基于磁盘计算

2易用性，spark支持多种语言

3 通用性强，可以流式处理，及时查询，图计算，机器学习

4 可以和hadoop数据集成，运行在yarn上，统一进行资源管理调度

5 活跃和壮大的社区