一次SQL如何查重及去重的实战记录


Posted in MySQL onMarch 13, 2022

前言

在使用SQL提数的时候,常会遇到表内有重复值的时候,就需要做去重,本文归类了常用方法。

⛳️ 1.distinct

题目:现在运营需要查看用户来自于哪些学校,请从用户信息表中取出学校的去重数据

示例:user_profile

一次SQL如何查重及去重的实战记录

mysql>SELECT DISTINCT university FROM user_profile;
??根据示例,查询返回以下结果

一次SQL如何查重及去重的实战记录

??小贴士:

SQL中关键词distinct去重:
英语中distinct 代表独一无二的意思,
他在SQL表示去重的意思:比如本题中university这一列出现了两次北京大学,
使用distinct进行去重查询后,则北京大学只出现一次。
distinct 通常效率较低
distinct 使用中,放在 select 后边,对后面所有的字段的值统一进行去重

?? 拓展:

题目:现在运营需要查看用户的总数
select count(distinct university) from user_profile;

⛳️ 2.group by

?? 举个栗子,现有这样一张表 task

一次SQL如何查重及去重的实战记录

备注:
task_id: 任务id;
order_id: 订单id;
start_time: 开始时间
注意:一个任务对应多条订单

题目:列出任务总数

????根据示例,查询方法如下:

第1步:列出 task_id 的所有唯一值(去重后的记录,null也是值)

select task_id
from Task
group by task_id;

第二步: 任务总数

select count(task_id) task_num
from (select task_id
from Task
group by task_id) tmp;

⛳️ 3.row_number 窗口函数

?? 举个栗子,现有这样一张表 task

一次SQL如何查重及去重的实战记录

备注:
task_id: 任务id;
order_id: 订单id;
start_time: 开始时间
注意:一个任务对应多条订单

题目:查询整个表重复的数据

??根据示例,查询方法如下:

– 在支持窗口函数的 sql 中使用

select count(case when rn=1 then task_id else null end) task_num
from (select task_id
, row_number() over (partition by task_id order by start_time) rn
from Task) tmp;

??小贴士:

MySQL8.0 中可以利用 ROW_NUMBER(),DENSE_RANK(),RANK() 三个窗口函数来实现排序

需要注意的一点是 as 后的别名,千万不要与前面的函数名重名,否则会报错

下面给出这三种函数实现排名的案例:

–三条语句对于上面三种排名

select xuehao,score, ROW_NUMBER() OVER(order by score desc) as row_r from scores_tb;
select xuehao,score, DENSE_RANK() OVER(order by score desc) as dense_r from scores_tb;
select xuehao,score, RANK() over(order by score desc) as r from scores_tb;

– 一条语句也可以查询出不同排名

SELECT xuehao,score,
ROW_NUMBER() OVER w AS ‘row_r',
DENSE_RANK() OVER w AS ‘dense_r',
RANK() OVER w AS ‘r'
FROM scores_tb
WINDOW w AS (ORDER BY score desc);

⛳️ 4.删除重复数据

创建测试数据

我们创建一个人员信息表并在里面插入一些重复的数据

CREATE TABLE Person(
id int auto_increment primary key comment ‘主键',
Name VARCHAR(20) NULL,
Age INT NULL,
Address VARCHAR(20) NULL,
Sex CHAR(2) NULL
);
INSERT INTO Person(ID,Name,Age,Address,Sex)
VALUES
( 1, ‘张三', 18, ‘北京路18号', ‘男' ),
( 2, ‘李四', 19, ‘北京路29号', ‘男' ),
( 3, ‘王五', 19, ‘南京路11号', ‘女' ),
( 4, ‘张三', 18, ‘北京路18号', ‘男' ),
( 5, ‘李四', 19, ‘北京路29号', ‘男' ),
( 6, ‘张三', 18, ‘北京路18号', ‘男' ),
( 7, ‘王五', 19, ‘南京路11号', ‘女' ),
( 8, ‘马六', 18, ‘南京路19号', ‘女' );

一次SQL如何查重及去重的实战记录

题目:数据库中存在重复记录,删除保留其中一条

我们发现除了自增长ID不同以为,有几条其他字段都重复的数据出现

? 第一步:找出重复的数据

mysql>SELECT MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1

一次SQL如何查重及去重的实战记录

??小贴士:

HAVING将分组后统计出来的数量大于1的数据行,就是我们要找的重复数据

上面用Max函数或者Min函数均可,只是为了保证取出来的数据的唯一性。

? 第二步:删除重复的数据

其实我们数据库中最后要保留的结果就是第二步中查询出来的数据,

我们把其他的数据删除即可。

怎么删除呢?我们使用ID来排除。

DELETE FROM Person
WHERE EXISTS
(
SELECT * FROM (
SELECT
MAX(ID) ID,
Name,Age,Address,Sex
FROM Person
GROUP BY Name,Age,Address,Sex
HAVING COUNT(1)>1) T
WHERE Person.Name=T.Name
AND Person.Age=T.Age
AND Person.Address=T.Address
AND Person.Sex=T.Sex
AND Person.ID<T.ID
)

执行完后重新查询Person表结果如下

马六因为只有一条记录,所以没有参与去重,直接显示。

一次SQL如何查重及去重的实战记录

总结

到此这篇关于SQL如何查重及去重的文章就介绍到这了,更多相关SQL查重去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

MySQL 相关文章推荐
MySQL入门命令之函数-单行函数-流程控制函数
Apr 05 MySQL
MySQL索引篇之千万级数据实战测试
Apr 05 MySQL
解决MySQL存储时间出现不一致的问题
Apr 28 MySQL
正确使用MySQL INSERT INTO语句
May 26 MySQL
你知道哪几种MYSQL的连接查询
Jun 03 MySQL
MySQL连表查询分组去重的实现示例
Jul 01 MySQL
解决mysql的int型主键自增问题
Jul 15 MySQL
SQL之各种join小结详细讲解
Aug 04 MySQL
MySQL 数据类型详情
Nov 11 MySQL
一文弄懂MySQL索引创建原则
Feb 28 MySQL
mysql使用instr达到in(字符串)的效果
Apr 03 MySQL
MySQL生成千万测试数据以及遇到的问题
Aug 05 MySQL
面试提问mysql一张表到底能存多少数据
MySQL的索引你了解吗
面试中老生常谈的MySQL问答集锦夯实基础
浅谈如何保证Mysql主从一致
MySQL数据库如何给表设置约束详解
Mar 13 #MySQL
Mysql外键约束的创建与删除的使用
Mar 03 #MySQL
解决MySQL添加新用户-ERROR 1045 (28000)的问题
Mar 03 #MySQL
You might like
PHP递归返回值时出现的问题解决办法
2013/02/19 PHP
跟我学Laravel之视图 &amp; Response
2014/10/15 PHP
php选择排序法实现数组排序实例分析
2015/02/16 PHP
thinkPHP数据查询常用方法总结【select,find,getField,query】
2017/03/15 PHP
JS实现多物体缓冲运动实例代码
2013/11/29 Javascript
jquery easyui使用心得
2014/07/07 Javascript
使用jquery解析XML的方法
2014/09/05 Javascript
深入解析JavaScript中函数的Currying柯里化
2016/03/19 Javascript
JS跨域交互(jQuery+php)之jsonp使用心得
2016/07/01 Javascript
jQuery ajax请求struts action实现异步刷新
2017/04/19 jQuery
Vue实战之vue登录验证的实现代码
2017/10/31 Javascript
AngularJS实现与后台服务器进行交互的示例讲解
2018/08/13 Javascript
PHP实现基于Redis的MessageQueue队列封装操作示例
2019/02/02 Javascript
使用React手写一个对话框或模态框的方法示例
2019/04/25 Javascript
Node.js之删除文件夹(含递归删除)代码实例
2019/09/09 Javascript
vue结合el-upload实现腾讯云视频上传功能
2020/07/01 Javascript
如何在JavaScript中正确处理变量
2020/12/25 Javascript
python赋值操作方法分享
2013/03/23 Python
为python设置socket代理的方法
2015/01/14 Python
Python中几种操作字符串的方法的介绍
2015/04/09 Python
python中pygame针对游戏窗口的显示方法实例分析(附源码)
2015/11/11 Python
Python使用logging结合decorator模式实现优化日志输出的方法
2016/04/16 Python
Python读取Json字典写入Excel表格的方法
2018/01/03 Python
django中使用POST方法获取POST数据
2019/08/20 Python
python+rsync精确同步指定格式文件
2019/08/29 Python
Django实现前台上传并显示图片功能
2020/05/29 Python
Mountain Hardwear官网:攀岩服装和户外装备
2019/09/26 全球购物
C#里面如何判断一个Object是否是某种类型(如Boolean)?
2016/02/10 面试题
最新教师自我评价分享
2013/11/12 职场文书
幼儿园教师备课制度
2014/01/12 职场文书
学生会竞选演讲稿纪检部
2014/08/25 职场文书
党员个人剖析材料2014
2014/10/08 职场文书
协议书范文
2015/01/27 职场文书
政协常委会议主持词
2015/07/03 职场文书
手把手教你用SpringBoot将文件打包成zip存放或导出
2021/06/11 Java/Android
SQL基础的查询语句
2021/11/11 MySQL