1章 课程介绍 课程介绍 1-1 -导学- 1-2 -授课习惯和学习建议 1-3 -OOTB环境使用演示 1-4 -Linux环境及软件版本介绍 1-5 -Spark版本升级 第2章 初识实时流处理 本章节将从一个业务场…

经过评测：presto的平均性能是hive的10倍 presto优点：数据源具有完全解耦，高性能，以及对ansi sql的支持特性，使得presto在etl，实时数据计算、ad-hoc查询和实时数据流分析等多个场景中能够…

一、问题 对实时流量日志过滤筛选商户流量，对每个商户的流量进行累计，统计商户实时累计流量。 当时间超过24时时，重新统计当日商户的实时累计流量。 二、实现步骤 1、采用Spark Streaming读取Kafka中的实时…

SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计 – lxw的大数据田地 http://lxw1234.com/archives/2015/11/552.htm Flume+Kafka…

日志服务（Log Service，简称 Log）是针对日志类数据的一站式服务，在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立 DT 时…

转载来源：spark与storm的对比 1 对比 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算…

最近一直在研究presto接口hive和mysql的一些使用和功能，因此，我在想是否能将数据实时的写入到hive呢，刚好公司项目有需求数据实时写入到hive中，对此，我特定实现了一下。 pom文件 spark-strea…

前言 最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长 本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中 关于Zookeeper/Kafka…

本文git地址，转载请注明，感谢 1.Overview spark streaming是spark的一个拓展应用，对实时数据流进行：可拓展、高吞吐、 可容错的流处理。 数据可以从多个来源得到，比如：Kafka，Flume…