spark实时处理hdfs流数据

2019年6月8日 224次阅读来源: gk4030

Spark构建一个实时数据处理及展示系统
流数据数据处理：scala
调用spark-SQL：python
如图：

《spark实时处理hdfs流数据》 Paste_Image.png

1、spark-streaming流处理
2、sbt打包
3、hdfs小文件
（20150701_记，后续补充）

1、flume、kafka结合spark
2、spark处理数据存放到hbase

    原文作者：gk4030
    原文地址: https://www.jianshu.com/p/f5ea5e01e699
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。