最近在整理数据形成信用报告，发现重复的数据真的多，梳理都好久。我就做个笔记把去掉重复数据的方法整理下来。方便我后期查阅。
我将我目前已知的两种去重方法分为：视图去重和表去重。原理就是有无rowid这个字段。
单字段查重
表A：
| ID | name | uscc | money |
|---|---|---|---|
| 1 | 张飞 | 11111 | 100 |
| 2 | 关羽 | 22222 | 100 |
| 3 | 刘备 | 33333 | 300 |
| 4 | 马超 | 44444 | 400 |
| 5 | 张飞 | 55555 | 100 |
| 6 | 马超 | 44444 | 400 |
这时候，我们来进行去重：如果只根据一个字段来去重的话，根据name字段，我们看下重复的有两条数据为‘张飞’和‘马超’
这个时候我们用最简单的方法rowid。通俗易懂
select * from 表A where rowid in(
select max(rowid) from 表A group by NAME)
order by id;| id | name | uscc | money |
|---|---|---|---|
| 1 | 张飞 | 11111 | 100 |
| 2 | 关羽 | 22222 | 100 |
| 3 | 刘备 | 33333 | 300 |
| 4 | 马超 | 44444 | 400 |
这个时候，数据就如上图所示。当name字段一样的时候，取rowid最大的保留。
上面那个是去重语句，下面说下查询表中的重复数据有哪些的语句
select * from 表A t,(select NAME from 表A group by NAME having count(1)>1) x
where t.NAME=x.NAME
order by t.id| id | name | uscc | money |
|---|---|---|---|
| 1 | 张飞 | 11111 | 100 |
| 4 | 马超 | 44444 | 400 |
| 5 | 张飞 | 55555 | 100 |
| 6 | 马超 | 44444 | 400 |
但是呢，有的时候我们使用多张表整合的视图，进行去重，这时候就没有rowid了。我们要怎么去重呢？
select * from (select s.* from
(select t.*,row_number() over (partition by uscc order by uscc) as group_idx
from 表A t ) s
where s.group_idx = 1)查询结果为：
| id | name | uscc | money |
|---|---|---|---|
| 1 | 张飞 | 11111 | 100 |
| 2 | 关羽 | 22222 | 100 |
| 3 | 刘备 | 33333 | 300 |
| 4 | 马超 | 44444 | 400 |
多字段查重
我们取NAME和USCC两个字段进行查重，因为很多时候，数据判断是否重复并不是一个字段就可以了，而且通过两个，甚至是一整条数据是否完全相同进行查重，这时候我们就用下面这个语句
select * from (select s.* from
(select t.*,row_number() over (partition by name,uscc order by name,uscc) as group_idx
from 表A t ) s
where s.group_idx = 1)查询结果如下：
| ID | name | uscc | money |
|---|---|---|---|
| 1 | 张飞 | 11111 | 100 |
| 2 | 关羽 | 22222 | 100 |
| 3 | 刘备 | 33333 | 300 |
| 4 | 马超 | 44444 | 400 |
| 5 | 张飞 | 55555 | 100 |
ID=6的‘马超’这条数据进行了去重，因为这个条数据NAME和USCC都重复了，所以只取一条。
好记性不如烂笔头，虽然当时还记得怎么写，但是时间一长，就会忘记，如果没有良好的记录的习惯，下次还会百度找资料，很耽误时间。