学习Spark的基本组件，主要由SparkSql、SparkStreaming等构成，简单理解其基本原理，构建Spark生态的全貌。
一、Spark Sql常识
Spark Sql提供了对于结构化和半结构化数据的快速操作，主要具备以下三种功能，
（1）从多种结构化数据源（json、parquet和hive）中读取数据
（2）支持Spark应用程序内部调用和外部工具通过标准连接器连接Spark Sql进行查询
（3）Spark Sql中sql与Java/Python/Scala代码高度整合
二、Spark Streaming常识
（1）Spark Streaming中使用离散化流作抽象表示并称为DStream，其由RDD组成的队列
（2）Spark Streaming支持两种操作，转化操作和输出操作，转化操作输出为新的DStream，输出操作将结果输出到硬盘上。转化操作包括无状态和有状态，重点关注有状态的转化操作。
（3）有状态的操作主要是两种类型，一种以时间阶段为滑动窗口进行操作，一种用来跟踪每个键的状态变化。基于窗口的操作需要两个参数，分别为窗口时长和滑动步长，两者都必须是SparkContext设置的批次间隔的整数倍，前者控制每次计算最近的多少个批次的数据，后者用来控制对新的DStream进行计算的间隔，如图所示，
1-基于窗口的转化操作
当需要在DStream跨批次维护状态时，使用updateStateByKey()为我们提供对一个状态变量的访问，用于键值对形式的DStream，比如跟踪用户访问网站的会话。
