一次SQL如何查重及去重的实战记录


Posted in MySQL onMarch 13, 2022

前言

在使用SQL提数的时候,常会遇到表内有重复值的时候,就需要做去重,本文归类了常用方法。

⛳️ 1.distinct

题目:现在运营需要查看用户来自于哪些学校,请从用户信息表中取出学校的去重数据

示例:user_profile

一次SQL如何查重及去重的实战记录

mysql>SELECT DISTINCT university FROM user_profile;
??根据示例,查询返回以下结果

一次SQL如何查重及去重的实战记录

??小贴士:

SQL中关键词distinct去重:
英语中distinct 代表独一无二的意思,
他在SQL表示去重的意思:比如本题中university这一列出现了两次北京大学,
使用distinct进行去重查询后,则北京大学只出现一次。
distinct 通常效率较低
distinct 使用中,放在 select 后边,对后面所有的字段的值统一进行去重

?? 拓展:

题目:现在运营需要查看用户的总数
select count(distinct university) from user_profile;

⛳️ 2.group by

?? 举个栗子,现有这样一张表 task

一次SQL如何查重及去重的实战记录

备注:
task_id: 任务id;
order_id: 订单id;
start_time: 开始时间
注意:一个任务对应多条订单

题目:列出任务总数

????根据示例,查询方法如下:

第1步:列出 task_id 的所有唯一值(去重后的记录,null也是值)

select task_id
from Task
group by task_id;

第二步: 任务总数

select count(task_id) task_num
from (select task_id
from Task
group by task_id) tmp;

⛳️ 3.row_number 窗口函数

?? 举个栗子,现有这样一张表 task

一次SQL如何查重及去重的实战记录

备注:
task_id: 任务id;
order_id: 订单id;
start_time: 开始时间
注意:一个任务对应多条订单

题目:查询整个表重复的数据

??根据示例,查询方法如下:

– 在支持窗口函数的 sql 中使用

select count(case when rn=1 then task_id else null end) task_num
from (select task_id
, row_number() over (partition by task_id order by start_time) rn
from Task) tmp;

??小贴士:

MySQL8.0 中可以利用 ROW_NUMBER(),DENSE_RANK(),RANK() 三个窗口函数来实现排序

需要注意的一点是 as 后的别名,千万不要与前面的函数名重名,否则会报错

下面给出这三种函数实现排名的案例:

–三条语句对于上面三种排名

select xuehao,score, ROW_NUMBER() OVER(order by score desc) as row_r from scores_tb;
select xuehao,score, DENSE_RANK() OVER(order by score desc) as dense_r from scores_tb;
select xuehao,score, RANK() over(order by score desc) as r from scores_tb;

– 一条语句也可以查询出不同排名

SELECT xuehao,score,
ROW_NUMBER() OVER w AS ‘row_r',
DENSE_RANK() OVER w AS ‘dense_r',
RANK() OVER w AS ‘r'
FROM scores_tb
WINDOW w AS (ORDER BY score desc);

⛳️ 4.删除重复数据

创建测试数据

我们创建一个人员信息表并在里面插入一些重复的数据

CREATE TABLE Person(
id int auto_increment primary key comment ‘主键',
Name VARCHAR(20) NULL,
Age INT NULL,
Address VARCHAR(20) NULL,
Sex CHAR(2) NULL
);
INSERT INTO Person(ID,Name,Age,Address,Sex)
VALUES
( 1, ‘张三', 18, ‘北京路18号', ‘男' ),
( 2, ‘李四', 19, ‘北京路29号', ‘男' ),
( 3, ‘王五', 19, ‘南京路11号', ‘女' ),
( 4, ‘张三', 18, ‘北京路18号', ‘男' ),
( 5, ‘李四', 19, ‘北京路29号', ‘男' ),
( 6, ‘张三', 18, ‘北京路18号', ‘男' ),
( 7, ‘王五', 19, ‘南京路11号', ‘女' ),
( 8, ‘马六', 18, ‘南京路19号', ‘女' );

一次SQL如何查重及去重的实战记录

题目:数据库中存在重复记录,删除保留其中一条

我们发现除了自增长ID不同以为,有几条其他字段都重复的数据出现

? 第一步:找出重复的数据

mysql>SELECT MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1

一次SQL如何查重及去重的实战记录

??小贴士:

HAVING将分组后统计出来的数量大于1的数据行,就是我们要找的重复数据

上面用Max函数或者Min函数均可,只是为了保证取出来的数据的唯一性。

? 第二步:删除重复的数据

其实我们数据库中最后要保留的结果就是第二步中查询出来的数据,

我们把其他的数据删除即可。

怎么删除呢?我们使用ID来排除。

DELETE FROM Person
WHERE EXISTS
(
SELECT * FROM (
SELECT
MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1) T
WHERE Person.Name=T.Name
AND Person.Age=T.Age
AND Person.Address=T.Address
AND Person.Sex=T.Sex
AND Person.ID<T.ID
)

执行完后重新查询Person表结果如下

马六因为只有一条记录,所以没有参与去重,直接显示。

一次SQL如何查重及去重的实战记录

总结

到此这篇关于SQL如何查重及去重的文章就介绍到这了,更多相关SQL查重去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL EXPLAIN输出列的详细解释
May 12 MySQL
MySQL 全文索引使用指南
May 25 MySQL
Node-Red实现MySQL数据库连接的方法
Aug 07 MySQL
浅谈MySQL函数
Oct 05 MySQL
浅谈MySQL表空间回收的正确姿势
Oct 05 MySQL
Mysql分库分表之后主键处理的几种方法
Feb 15 MySQL
关于MySQL临时表为什么可以重名的问题
Mar 22 MySQL
MySQL Server层四个日志的实现
Mar 31 MySQL
Mysql查询时间区间日期列表,不会由于数据表数据影响
Apr 19 MySQL
详解Mysq MVCC多版本的并发控制
Apr 29 MySQL
面试提问mysql一张表到底能存多少数据
MySQL的索引你了解吗
面试中老生常谈的MySQL问答集锦夯实基础
浅谈如何保证Mysql主从一致
MySQL数据库如何给表设置约束详解
Mar 13 #MySQL
Mysql外键约束的创建与删除的使用
Mar 03 #MySQL
解决MySQL添加新用户-ERROR 1045 (28000)的问题
Mar 03 #MySQL
You might like
古巴咖啡 Cubita琥爵咖啡 独特的加勒比海风味咖啡
2021/03/06 新手入门
不使用php api函数实现数组的交换排序示例
2014/04/13 PHP
常见PHP数据库解决方案分析介绍
2015/09/24 PHP
PHP魔术方法使用方法汇总
2016/02/14 PHP
thinkPHP简单遍历数组方法分析
2016/05/16 PHP
List Installed Software Features
2007/06/11 Javascript
模仿JQuery.extend函数扩展自己对象的js代码
2009/12/09 Javascript
基于Jquery的将DropDownlist的选中值赋给label的实现代码
2011/05/06 Javascript
JavaScript打开word文档的实现代码(c#)
2012/04/16 Javascript
jQuery-ui引入后Vs2008的无智能提示问题解决方法
2014/02/10 Javascript
jQuery动态改变多行文本框高度的方法
2016/09/07 Javascript
微信小程序 五星评分(包括半颗星评分)实例代码
2016/12/14 Javascript
jQuery Ajax全解析
2017/02/13 Javascript
jQuery实现搜索页面关键字的功能
2017/02/16 Javascript
使用JavaScript实现alert的实例代码
2017/07/06 Javascript
Angular angular-file-upload文件上传的示例代码
2018/08/23 Javascript
优雅的在React项目中使用Redux的方法
2018/11/10 Javascript
vue路由切换之淡入淡出的简单实现
2019/10/31 Javascript
JavaScript设计模式之观察者模式与发布订阅模式详解
2020/05/07 Javascript
JavaScript canvas实现文字时钟
2021/01/10 Javascript
Python时区设置方法与pytz查询时区教程
2013/11/27 Python
Python实现获取邮箱内容并解析的方法示例
2018/06/16 Python
在django-xadmin中APScheduler的启动初始化实例
2019/11/15 Python
Python decorator拦截器代码实例解析
2020/04/04 Python
PyCharm Community安装与配置的详细教程
2020/11/24 Python
我能否用void** 指针作为参数, 使函数按引用接受一般指针
2013/02/16 面试题
测控技术与仪器个人求职信范文
2013/12/30 职场文书
办公设备采购方案
2014/03/16 职场文书
小学班主任评语大全
2014/04/23 职场文书
经贸专业毕业生求职信范文
2014/05/01 职场文书
淘宝店策划方案
2014/06/07 职场文书
法人委托书范本
2014/09/15 职场文书
解除劳动合同证明书
2014/09/26 职场文书
场地使用证明模板
2014/10/25 职场文书
2015年禁毒工作总结
2015/04/30 职场文书
python实现简单反弹球游戏
2021/04/12 Python