Scala基于MySQL元数据管理项目实战

项目概述:Spring Boot + Spring Data JPA + Scala + Java (混编)(有些java工具类需要调用)

项目需求:统一元数据管理(metastore)在大数据平台的重要性(SparkSQL/Hive)

元数据管理:Metastore

采集
维护:*****
稽查
分析

项目需求分析:

数据库管理: default immoc_db1 imooc_db2
   id:数据库编号
   name:数据库名称
   location:数据库存放在HDFS/S3/OSS等文件系统上的目录
   
   user/hive/wirehouse
   user/hive/wirehouse/imooc_db1
   Java语言实现
   
表管理: imooc-table1, imooc-table2
    id:表编号
    name:表名称
    tableType: 表类型 内部表 外部表
    dbID:该表所属的数据库ID
    Scala语言实现


    

开发环境搭建:Idea + Maven (1.如果想看源码,关联一下,会很方便 2.不需要拷贝一堆jar包,只需要用Maven的dependency来管理,解决编译问题和版本冲突都相对方便)

Scala和Java在写controller的时候的区别就是,@RequestMapping后面的value,scala要跟一个Array
共有四个包
controller: 底层关联
Domain:变量定义 Metatable下有 id, name, location
Repository: Metatables
Service: 业务逻辑开发

    原文作者:SkinnyTracy
    原文地址: https://segmentfault.com/a/1190000020095876
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞