数据仓库经验老鸟分享零基础行大数据的最佳自学之路

本人从08年从事数据仓库工程师转到目前大数据管理工作的,对数据仓库感情颇深,也曾一直苦于没有太好的学习资料,自行摸索。

我认为数据仓库更像一门管理学艺术,大多用的也是关系型数据库,但是却完全忽略三范式,通过维度模型来组织数据,最后为各种数据的应用提供支持,例如BI、数据集市、数据挖掘等等。而在模型之间穿插着无数的etl应用来组成系统的血脉!所以我个人觉得数据仓库除了技术,更有其艺术的一面。

 

在大数据时代,很多时候我们面对的是HBASE,HADOOP,SPARK等流式的数据,虽然数据仓库的技术有所更新,但其模型原理缺始终没变。我认为这是一门非常有价值的技术!希望大家看完本文能有所收获。

大数据学习群:716581014

《数据仓库经验老鸟分享零基础行大数据的最佳自学之路》

本文推荐的学习路线适合具有一定的数据库基础,对数据有很强的敏感度。对于元数据管理、ETL、BI有兴趣的童鞋学习。

《数据仓库经验老鸟分享零基础行大数据的最佳自学之路》

零基础学习数据仓库首先要从DW理论与建模开始学习,建议学习时间为2周左右。

重点: 数据仓库的核心知识,维度建模。OLAP与OLTP数据库系统的区别是最关键的。同时掌握powerdesiner数据库设计工具也是非常重要的。同时对于ORACLE的应用水平的提升也是至关重要的。因为要写很多存储过程来弥补ETL工具的不足!

数据仓库入门 10课

数据仓库讲解 5课

PowerDesigner数据仓库设计 27课

Powerdesigner精讲 11课

详解SQL与PLSQL 18课

Oracle快速入门与提高 18课

《数据仓库经验老鸟分享零基础行大数据的最佳自学之路》

其次要了解ETL原理与应用,建议学习时间为2周左右。

重点:ETL是数据仓库的血脉,负责数据的抽取、转换与加载,有人会提ETCL,无非增加了一项数据清洗。其实了解执行原理就会明白并没有多么高深,学习的精髓就是让抽象变简单的方法。这里提供了一些常用ETL工具的使用,其实只要理解其原理都是相通的,工具主要是简化操作,便于维护与管理。主流的工具无非开源的Kettle,企业级的Informatica、ssis、datastage这几款,会两个就足以,很多时候,存储过程加job调度完全能应付。

ETL理论基础 6课

深入BI之Kettle篇ETL技术 15课

Kettle4.3入门与实战 15课

BI SSIS ETL 56课

DATA STAGE 6课

Datastage 工具实战讲解 2课

InformaticaETL工具视频教程 30课

infa_pc基础 3课

《数据仓库经验老鸟分享零基础行大数据的最佳自学之路》

最后重点讲讲BI商业智能与应用,建议学习时间为30天左右。

重点:BI应用包括决策支持、领导驾驶舱等,其实从技术角度来讲就是一个数据可视化的过程,很容易理解,无非就是图表的组合,或者OLAB的自助查询,对于OLAB的支持可能会用到CUBE技术,一些企业级BI工具都支持。但其核心还是SQL。

 

从产品角度来讲可能有些难度,需要的对业务的理解,图表的设计要与业务紧密结合,如何提高易用性,更直观的发现问题,提供诊断结果这是需要经验打磨的。互联网公司一般自己开发bi应用,很多大型企业会用到企业级的BI工具,主流的就是IBM的cognos、ORACLE的OBIEE、SSRS或者SAP的BO,大同小异。我都为大家准备齐全了。当然国内近几年也涌现出一些不错的BI工具。

 

大数据学习群:716581014

    原文作者:数据库基础
    原文地址: https://my.oschina.net/u/3804900/blog/1834014
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞