大数据建立模型过程

最近没有更新博客,是因为一直在思考自己的职业方向,作为一个工作已经快三年的java开发工程师来说,java的技术应该是非常优秀的。而我则不然,因为我在此期间做了大概有一年的数据处理。
根据这一年所做的事情想要做个小总结,总觉得以后的工作中会用到的。
1.首先根据需求进行制作星型图(需求中会给出查询条件以及查询结果)
根据需求建立的星型图 主要分为事实表以及其他的维度表(事实表就是主表,主表里面包含查询的结果以及与其他维度表相关联的外键)
下图为一个星型图:
《大数据建立模型过程》

2.在Oracle中根据星型图建表
3.要根据需求所用的数据
4.数据接收过来之后对数据进行etl操作(etl操作:数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load))
5.然后将处理完的数据导入到oracle中。
如果是直接使用oracle作为导入数据的工具,那么在BI分析中改下驱动即可。
如果想要使用KYLIN,那么将oracle中的表结构以及数据导入到hive中,并在hive中进行处理。导入到Cube当中即可。

上面是我的见解,还请各位大神多多指教。

    原文作者:雨霁赤赤
    原文地址: https://blog.csdn.net/qq_35835118/article/details/84542952
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞