前言 之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在了用户行为存储上,因为Ro…
标签:计算
Hadoop ,大数据,云计算之间有什么关系?
编辑:于占胜 组别:研0组 【嵌牛导读】大数据开发入门课程:hadoop大数据与hadoop云计算,Hadoop最擅长的事情就是可以高效地处理海量规模的数据,这样Hadoop就和大数据及云计算…
流式计算概述和Spark Streaming tips
流式计算概述 常规计算引擎分类 批处理 • 高吞吐,低延迟 • 面向静态数据集合的处理 • 分钟甚至小时级别延迟 • 比如MR, Spark 流式计算 • 面向行级别数据处理 • 毫秒级延迟 • 比如storm 流式计算…
云计算四大金刚:Spark、Docker、K8S、Mesos
云计算毕竟是一个概念,很多人对于云计算概念很早就耳濡目染,但也只是懂个皮毛,原因在于云计算技术的复杂性。云计算的理念实际很先进,但要实现这些功能需要很多技术做支撑,所以只有对这些技术有所了解,才能真正理解云计算,发现云计…
spark大数据架构初学入门基础详解
Spark是什么 a) 是一种通用的大数据计算框架 b) Spark Core 离线计算 Spark SQL 交互式查询 Spark Streaming 实时流式计算 S…
如何学习Spark
Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位。 Spark是发源于美国加州大学伯克利…
数据仓库中的SQL性能优化(MySQL篇)
做数据仓库的头两年,使用高配置单机 + MySQL的方式来实现所有的计算(包括数据的ETL,以及报表计算。没有OLAP)。用过MySQL自带的MYISAM和列存储引擎Infobright。这篇文章总结了自己和团队在那段时…