1 概述 ​ 对于默认的分布式表的配置，每个分片只有一份，这种多分片单副本集群，挂掉一个节点的话查询分布式表会报错。为了解决这个问题的话可以使用ClickHouse高可用集群，对于每个分片具有2个或2个以上的副本，当某个…

首先 Merge不是实时的，是后台定时任务去自动merge，只有在合并过程中才会出现重复数据删除，无法设置或掌控，一般merge时间是10-15分钟，但是如果某个分区一直不写入新的数据可能存在该分区一直不merge，这没…

MergeTree引擎的表，由于重复入库导致了表中数据重复，需要将重复的数据删除，只保留一条记录。 在使用Hive的时候，遇到这种情况通常是使用row_number取第一条插入到临时表中，然后将原表数据删除，再将临时表数…

如何快速地将Hive中的数据导入ClickHouse image ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前…

简介 工作中我们遇到了把Hive数据同步到Clickhouse的业务需求，一开始我们写Spark任务，用SparkSQL读Hive，再用JDBC写入到Clickhouse。 后来，随着要同步的表越来越多，每次都写Spar…