版本: 2.3.0 准备 保证spark的的各个节点上都有hive的包。 将hive的配置文件, hive-site.xml 拷贝到spark的 conf文件下 。 配置 在hive-site.xml中的参数 hive.…
标签:spark
Logstash同步Hive和Clickhouse
简介 工作中我们遇到了把Hive数据同步到Clickhouse的业务需求,一开始我们写Spark任务,用SparkSQL读Hive,再用JDBC写入到Clickhouse。 后来,随着要同步的表越来越多,每次都写Spar…
Hadoop 之上的数据建模 - Data Vault 2.0
对比传统的基于 RDBMS 之上的数据仓库和商业智能项目,尝试着说说,Hadoop 之上的数据仓库,从ETL, 数据存储,到分析展现。重点围绕数据建模方面做分析,因为这是本文的重点,介绍一份新的数据建模方式 Data V…