hive中一张表内查找数据重复的问题

先说一下自己的理解:下面的col1其实是一个可以根据这个字段查出整行数据的(类似于主键),如果不能确定的话那就将所有字段都写上

如何快速确定一张表内是否有重复数据:

select count(col1), count(distinct col1) from table;

查询一张表内重复数据的方法有三种:

1、group by

select col1, count(1) from table 
group by col1
having count(1) > 1; --求出有重复数据的行
-- having count(1) = 1; 去重之后的结果

2、distinct去重

select distinct col1 from table;

3、row_number()排序函数(推荐使用)

select col1, col2 from
(
select col1, col2,
row_number() over(partition by col1 order by col2) rk
from table
)  t 
where t.rk > 1; -- 这样求出来的就是有重复数据的数据
-- where t.rk = 1; 这句就是查出来没有重复的数据(去重之后的数据)
    原文作者:冷漠;
    原文地址: https://blog.csdn.net/qq_45124566/article/details/121152783
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞