使用SQL语句去掉重复记录的两种方法
文章主要介绍了用SQL语句去掉重复的记录的两种方式,两种方式都可以使用临时表操作,具体实现方法大家跟随小编一起通过本文学习吧海量数据(百万以上),其中有些全部字段都相同,有些...
海量数据(百万以上),其中有些全部字段都相同,有些部分字段相同,怎样高效去除重复?
如果要删除手机(mobilePhone),电话(officePhone),邮件(email)同时都相同的数据,以前一直使用这条语句进行去重:
delete
from
表
where
id
not
in
(
select
max
(id)
from
表
group
by
mobilePhone,officePhone,email )
or
delete
from
表
where
id
not
in
(
select
min
(id)
from
表
group
by
mobilePhone,officePhone,email )
delete
from
表
where
id
not
in
(
select
max
(id)
from
表
group
by
mobilePhone,officePhone,email )
or
delete
from
表
where
id
not
in
(
select
min
(id)
from
表
group
by
mobilePhone,officePhone,email )
其中下面这条会稍快些。上面这条数据对于100万以内的数据效率还可以,重复数1/5的情况下几分钟到几十分钟不等,但是如果数据量达到300万以上,效率骤降,如果重复数据再多点的话,常常会几十小时跑不完,有时候会锁表跑一夜都跑不完。无奈只得重新寻找新的可行方法,今天终于有所收获:
//查询出唯一数据的ID,并把他们导入临时表tmp中
select
min
(id)
as
mid
into
tmp
from
表
group
by
mobilePhone,officePhone,email
//查询出去重后的数据并插入finally表中
insert
into
finally
select
(除ID以外的字段)
from
customers_1
where
id
in
(
select
mid
from
tmp)
//查询出唯一数据的ID,并把他们导入临时表tmp中
select
min
(id)
as
mid
into
tmp
from
表
group
by
mobilePhone,officePhone,email
//查询出去重后的数据并插入finally表中
insert
into
finally
select
(除ID以外的字段)
from
customers_1
where
id
in
(
select
mid
from
tmp)
效率对比:用delete方法对500万数据去重(1/2重复)约4小时。4小时,很长的时间。
用临时表插入对500万数据去重(1/2重复)不到10分钟。
其实用删除方式是比较慢的,可能是边找边删除的原因吧,而使用临时表,可以将没有重复的数据ID选出来放在临时表里,再将表的信息按临时表的选择出来的ID,将它们找出来插入到新的表,然后将原表删除,这样就可以快速去重啦。
SQL语句去掉重复记录,获取重复记录
按照某几个字段名称查找表中存在这几个字段的重复数据并按照插入的时间先后进行删除,条件取决于order by 和row_num。
方法一按照多条件重复处理:
delete
tmp
from
(
select
row_num = row_number() over(partition
by
字段,字段
order
by
时间
desc
)
from
表
where
时间> getdate()-1
) tmp
where
row_num > 1
delete
tmp
from
(
select
row_num = row_number() over(partition
by
字段,字段
order
by
时间
desc
)
from
表
where
时间> getdate()-1
) tmp
where
row_num > 1
方法二按照单一条件进行去重:
delete
from
表
where
主键ID
not
in
(
select
max
(主键ID)
from
表
group
by
需要去重的字段
having
count
(需要去重的字段)>=1
)
delete
from
表
where
主键ID
not
in
(
select
max
(主键ID)
from
表
group
by
需要去重的字段
having
count
(需要去重的字段)>=1
)
注意:为提高效率如上两个方法都可以使用临时表, not in 中的表可以先提取临时表#tmp,
然后采用not exists来执行,为避免数量过大,可批量用Top控制删除量
delete
top
(2)
from
表
where
not
exists (
select
主键ID
from
#tmp
where
#tmp.主键ID=表.主键ID)
总结
以上所述是小编给大家介绍的使用SQL语句去掉重复的记录,希望对大家有所帮助,
-
SQL server数据库高可用日志传送的方法
SQL Server 使用日志传送,您可以自动将“主服务器”实例上“主数据库”内的事务日志备份发送到单独“辅助服务器”实例上的一个或多个“...
-
Sql Server 数据库中调用dll文件的过程
文章主要介绍了Sql Server 数据库中调用dll文件的过程,非常不错,具有一定的参考借鉴价值,感兴趣的朋友跟随小编一起学习吧...
-
Sql Server 数据库获取字符串中小写字母的SQL语句
文章主要介绍了SqlServer 获取字符串中小写字母的实现方法,非常不错,具有一定的参考借鉴价值,需要的朋友跟随脚本之家小编一起学习吧有时候我们会截取字符串中的一些特殊想要的...
-
Sql Server数据库如何去掉内容里面的Html标签
文章主要介绍了Sql Server 去掉内容里边的Html标签的实现方法,代码超简单,具有一定的参考借鉴价值,需要的朋友可以参考下。...
-
SQL Server数据库远程更新目标表数据的存储过程
文章主要介绍了SQL Server 远程更新目标表数据的存储过程,适用于更新列名一致,主键为Int类型,具体实例代码大家参考下本文本文给大家分享一个远程更新目标库数据的存储过程,适用...
-
MsSql 数据库使用sqlplus创建DDL和DML操作方法
文章主要介绍了使用sqlplus创建DDL和DML操作方法,需要的朋友可以参考下,在window进入命令行模式敲sqlplus就会...
-
SQL语句中不同的连接JOIN及SQL中join的各种用法
本文给大家较详细的介绍了SQL语句中不同的连接JOIN及join的用法,感兴趣的朋友跟随小编一起看看吧为了从两个表中获取数据,我们有时会用JOIN将两个表连接起来。通常有以下几种...
-
SQL SERVER 2012数据库自动备份的方法
文章主要为大家详细介绍了SQL SERVER 2012数据库自动备份的方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下为了防止数据丢失,这里给大家介绍SQL SERVER2012数据自动备...
-
SQL Server数据库调整表中列的顺序操作方法及遇到问题
文章主要介绍了SQL Server 数据库调整表中列的顺序操作,文中给大家通过详细步骤介绍了需求及问题描述 ,需要的朋友可以参考下SQL Server 数据库中表一旦创建,我们不建议擅自调...
-
利用数据库trigger对安全进行监控
最近帮一个朋友看他们的网站安全问题,他们非常担心系统中的数据被篡改,因为一旦篡改可能就别人兑换东西或者套现走了就会造成损失,而最典型的修改一般都是利用事务性不一致和一些数据库中的溢出等错误和直接获取权...