Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世。然后总感觉哪里不对。目前在乐视云数据部门里从事实时计算,数据平台、搜索和推荐等多个方向。曾从事基础框架,搜索研发四年,大数据平台架构…
标签:实时
基于SQL的实时股票分析
文章同时发布在个人博客:基于SQL的实时股票分析 概述 这次分享的是在给某券商做实时流处理案例,基于我们公司的StreamSQL流处理功能和他们的业务数据,做的股票实时分析功能。 主要功能,采集DBF实时股票交易数据并写…
spark从入门到放弃四十一:Spark Streaming(1) 简介
文章地址:http://www.haha174.top/article/details/251995 1.大数据实时计算介绍 1.Spark Streaming 其实就是一种spark 提供的对于大数据进行实时计算的一种…
基于Flume+Kafka+Spark Streaming打造实时流处理项目实战课程
本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时…
Spark Streaming快速入坑指南
本文git地址,转载请注明,感谢 1.Overview spark streaming是spark的一个拓展应用,对实时数据流进行:可拓展、高吞吐、 可容错的流处理。 数据可以从多个来源得到,比如:Kafka,Flume…
基于Flume+Kafka+Spark Streaming打造实时流处理项目实战课程 企业大数据流处理平台实战教程
本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时…
一篇文章学会spark-streaming
版权申明:转载请注明出处。 文章来源:http://bigdataer.net 1.什么是spark-streaming? 实际生产中会有许多应用到实时处理的场景,比如:实时监测页面点击,实时监测系统异常,实时监测来自于…
SparkStreaming入门教程(一)概述、特点、架构原理以及与storm的对比
本文全部手写原创,请勿复制粘贴、转载请注明出处,谢谢配合! 什么是SparkStreaming Spark Streaming类似于Apache Storm,用于流式数据的处理。 什么是流式数据的处理: 即数据源源不断的…
阿里云日志服务使用教程
日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在阿里巴巴集团经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时…
Spark Streaming 实时统计商户当日累计PV流量
一、问题 对实时流量日志过滤筛选商户流量,对每个商户的流量进行累计,统计商户实时累计流量。 当时间超过24时时,重新统计当日商户的实时累计流量。 二、实现步骤 1、采用Spark Streaming读取Kafka中的实时…
实时计算——聊一聊我所经历的计算框架
实时计算 上篇文章大致介绍了离线计算MapReduce和Spark,但是无法满足对实时性要求较高的业务,下面我们来了解一下实时计算。 离线和批量、实时和流式 在聊实时计算之前,先说一下我对离线和批量、实时和流式的一些看法…
Spark Streaming实时流处理项目实战百度云网盘下载
1章 课程介绍 课程介绍 1-1 -导学- 1-2 -授课习惯和学习建议 1-3 -OOTB环境使用演示 1-4 -Linux环境及软件版本介绍 1-5 -Spark版本升级 第2章 初识实时流处理 本章节将从一个业务场…