【学途无忧网】基于Storm+KafKa技术实现“天猫双十一”大屏实时展示项目

基于Storm+KafKa技术实现“天猫双十一”大屏实时展示项目

课程下载:https://pan.baidu.com/s/1BX7jG1llz4zdT5fqdi4sHQ

提取码:c2nl

Storm是什么? 为什么学习Storm? Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。 随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。 按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。

Hadoop提供了map、reduce原语,使我们的批处理程序变得简单和高效。 同样,Storm也为实时计算提供了一些简单高效的原语,而且Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架, 让开发更加便利和高效。

本课程会深入、全面的讲解Storm,并穿插企业场景实战讲述Storm的运用。 淘宝双11的大屏幕实时监控效果冲击了整个IT界,业界为之惊叹的同时更是引起对该技术的探索。 学完本课程你可以自己开发升级版的“淘宝双11”,还等什么?

课程大纲:

1、【第一章】课程介绍,Storm简介及背景和现状,和JStorm对比

2、Storm架构原理详解

3、虚拟机安装和设置注意事项

4、Zookeeper集群部署和测试

5、Storm集群搭建及测试

6、Eclipse下介绍storm-starter例子,讲解常用API类

7、API简介和入门案例开发

8、API体系一栏,Spout和Bolt系列类介绍

9、几种Grouping策略详解

10、FatJar插件安装、打包发布,详解Storm UI界面使用

11、通过UI界面检测作业状况,详解UI查看技巧,界面查日志logviewer

12、Wroker、Executer、Task概念及关系详解,动态调整并发度

13、【实战案例】计算当天销售额

14、【案例升级】计算当天销售额和购买人数

15、时间窗口的概念及相关API介绍

16、滚动窗口 Tumbling Window的实战案例

17、滑动窗口 Sliding Window的实战案例

18、Storm容错机制Acker详解

19、【案例】Acker失败重发编码实现

20、Storm集群Start-all.sh和Stop-all.sh命令开发一

21、Storm集群Start-all.sh和Stop-all.sh命令开发二

22、【第二章】Kafka架构原理、概念详解

23、Kafka集群搭建

24、Kafka Java API 简单开发测试

25、storm-kafka 详解和实战案例,工程转到IntelliJIDEA上

26、storm-kafka案例详解续,IDEA使用技巧

27、【项目1-地区销售额】需求分析和架构设计

28、【项目1-地区销售额】Topo开发1

29、【项目1】HBase读写开发

30、【项目1】Topo开发2,加入写HBase和启动初始化动作

31、【项目1】Highchats图表的开发思路,项目中加入Web模块

32、【项目1】Servlet代码实现和讲解,项目运行

33、【第三章】Storm高级运用Trident入门,DRPC概念

34、Trident基础二

35、Trident的FirstN、投影操作、链操作、重分区

36、【项目2-省份销售TopN】需求分析,Topo开发一

37、【项目2-省份销售TopN】Topo开发二

38、【项目2】打包发布Topo,配置和启动DRPC Server,开发DRPC客户端进行验证

39、【项目2】Web端开发和项目运行

40、【项目3】需求分析,Topo开发

41、Topo开发二

42、Topo开发三,增加启动Topo进行初始化数据的机制

43、Web端开发一

44、Web端开发二,项目运行

    原文作者:今天礼拜天
    原文地址: https://zhuanlan.zhihu.com/p/51125407
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞