sql技巧(二)去除重复记录

导读:在数据库的处理工作,会遇到重复记录的问题,会影响数据的分析结果的准确性,今天我们探讨一下在数据库中对重复记录的操作;

示例数据如下我们可以看到一个name有两条记录,有的是英语成绩不一样(zhangsan),有的是math成绩不一样(wangwu),有的是两个都不一样(zhaoliu),有的是记录完全一致(lisi),针对不同的记录重复情况有不同的处理办法。(原则为保留该科目最高成绩为最终成绩,即删除成绩较低的行,记录相同保留最近一条记录,number更大的,记录都不相同则取数学成绩高的记录)

《sql技巧(二)去除重复记录》 示例数据      

《sql技巧(二)去除重复记录》 示例结果

首先要找出重复的记录

    SELECT name  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1

《sql技巧(二)去除重复记录》 有重复成绩的学生

1.处理两条记录完全一致的情况

①找出要删除的行

SELECT  * FROM  repeat_nums

WHERE  name in (SELECT name  FROM  repeat_nums  GROUP BY  name ,math,english HAVING COUNT(1) >1)

AND    number in (SELECT min(number)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

② 删除    把 select 改为delete 

2.处理有一个字段重复的情况

SELECT  * FROM  repeat_nums

WHERE  CAST(name as VARCHAR ) + CAST(math as VARCHAR)+ CAST(english as VARCHAR)

in (SELECT CAST(name as VARCHAR ) +CAST(min(math) as VARCHAR)+ CAST(min (english) as VARCHAR)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

①找出要删除的行

② 删除    把 select 改为delete

3.处理两个字段都不一致的情况(选择数学成绩好的记录)

①找出要删除的行(name)

SELECT  name  FROM  repeat_nums  as  a

WHERE  CAST(math as VARCHAR)+ CAST(english as VARCHAR)  not in

(SELECT  CAST(min(math) as VARCHAR)+ CAST(min(english) as VARCHAR)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

and

CAST(math as VARCHAR)+ CAST(english as VARCHAR)  not in

(SELECT CAST(max(math) as VARCHAR)+ CAST(max(english) as VARCHAR)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

and

name in (SELECT name  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

② 删除

DELETE  FROM  repeat_nums  as a  WHERE name in

(SELECT  name  FROM  repeat_nums  as  a

WHERE  CAST(math as VARCHAR)+ CAST(english as VARCHAR)  not in

(SELECT  CAST(min(math) as VARCHAR)+ CAST(min(english) as VARCHAR)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

and

CAST(math as VARCHAR)+ CAST(english as VARCHAR)  not in

(SELECT CAST(max(math) as VARCHAR)+ CAST(max(english) as VARCHAR)  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

and

name in (SELECT name  FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1))

AND  MATh  in (SELECT min(MATH) FROM  repeat_nums  GROUP BY  name  HAVING COUNT(1) >1)

    原文作者:洛水青柳2017
    原文地址: https://www.jianshu.com/p/f49befb6bb77
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞