SQL中的三种去重方法小结


Posted in SQL Server onNovember 01, 2021

在使用SQL提数的时候,常会遇到表内有重复值的时候,比如我们想得到 uv (独立访客),就需要做去重。
在 MySQL 中通常是使用 distinct 或 group by子句,但在支持窗口函数的 sql(如Hive SQL、Oracle等等) 中还可以使用 row_number 窗口函数进行去重。

举个栗子,现有这样一张表 task:

 

task_id order_id start_time
1 123 2020-01-05
1 213 2020-01-06
1 321 2020-01-07
2 456 2020-01-06
2 465 2020-01-07
3 798 2020-01-06

备注:

  • task_id: 任务id;
  • order_id: 订单id;
  • start_time: 开始时间

注意:一个任务对应多条订单

我们需要求出任务的总数量,因为 task_id 并非唯一的,所以需要去重:

distinct

-- 列出 task_id 的所有唯一值(去重后的记录)
-- select distinct task_id
-- from Task;

-- 任务总数
select count(distinct task_id) task_num
from Task;

distinct 通常效率较低。它不适合用来展示去重后具体的值,一般与 count 配合用来计算条数。

distinct 使用中,放在 select 后边,对后面所有的字段的值统一进行去重。比如distinct后面有两个字段,那么 1,1 和 1,2 这两条记录不是重复值 。

group by

-- 列出 task_id 的所有唯一值(去重后的记录,null也是值)
-- select task_id
-- from Task
-- group by task_id;

-- 任务总数
select count(task_id) task_num
from (select task_id
      from Task
      group by task_id) tmp;

row_number

row_number 是窗口函数,语法如下:
row_number() over (partition by <用于分组的字段名> order by <用于组内排序的字段名>)
其中 partition by 部分可省略。

-- 在支持窗口函数的 sql 中使用
select count(case when rn=1 then task_id else null end) task_num
from (select task_id
       , row_number() over (partition by task_id order by start_time) rn
   from Task) tmp;

此外,再借助一个表 test 来理理 distinct 和 group by 在去重中的使用:

 

user_id user_type
1 1
1 2
2 1
-- 下方的分号;用来分隔行
select distinct user_id
from Test;    -- 返回 1; 2

select distinct user_id, user_type
from Test;    -- 返回1, 1; 1, 2; 2, 1

select user_id
from Test
group by user_id;    -- 返回1;  2

select user_id, user_type
from Test
group by user_id, user_type;    -- 返回1, 1; 1, 2; 2, 1

select user_id, user_type
from Test
group by user_id;    
-- Hive、Oracle等会报错,mysql可以这样写。
-- 返回1, 1 或 1, 2 ; 2, 1(共两行)。只会对group by后面的字段去重,就是说最后返回的记录数等于上一段sql的记录数,即2条
-- 没有放在group by 后面但是在select中放了的字段,只会返回一条记录(好像通常是第一条,应该是没有规律的)

到此这篇关于SQL中的三种去重方法小结的文章就介绍到这了,更多相关SQL 去重内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

SQL Server 相关文章推荐
Windows环境下实现批量执行Sql文件
Oct 05 SQL Server
SQL SERVER触发器详解
Feb 24 SQL Server
sql server 累计求和实现代码
Feb 28 SQL Server
通过T-SQL语句创建游标与实现数据库加解密功能
Mar 16 SQL Server
SQL Server远程连接的设置步骤(图文)
Mar 23 SQL Server
SQL Server的存储过程与触发器以及系统函数和自定义函数
Apr 10 SQL Server
SQL Server 忘记密码以及重新添加新账号
Apr 26 SQL Server
SQL Server 中的事务介绍
May 20 SQL Server
SQL Server中T-SQL标识符介绍与无排序生成序号的方法
May 25 SQL Server
详解SQL报错盲注
Jul 23 SQL Server
SqlServer常用函数及时间处理小结
May 08 SQL Server
SQL Server表分区删除详情
Spark SQL 2.4.8 操作 Dataframe的两种方式
Windows环境下实现批量执行Sql文件
万能密码的SQL注入漏洞其PHP环境搭建及防御手段
Sep 04 #SQL Server
sql server删除前1000行数据的方法实例
Aug 30 #SQL Server
SQLServer之常用函数总结详解
Aug 30 #SQL Server
SQL写法--行行比较
Aug 23 #SQL Server
You might like
php简单实现查询数据库返回json数据
2015/04/16 PHP
在WordPress的后台中添加顶级菜单和子菜单的函数详解
2016/01/11 PHP
Thinkphp3.2.3整合phpqrcode生成带logo的二维码
2016/07/21 PHP
PHP抽象类和接口用法实例详解
2019/07/20 PHP
javascript淡入淡出效果的实现思路
2012/03/31 Javascript
阻止子元素继承父元素事件具体思路及实现
2013/05/02 Javascript
bootstrap改变按钮加载状态
2014/12/01 Javascript
原生javascript实现隔行换色
2015/01/04 Javascript
jQuery增加与删除table列的方法
2016/03/01 Javascript
原生js实现瀑布流布局
2017/03/08 Javascript
JS中的回调函数实例浅析
2018/03/21 Javascript
Vue在页面右上角实现可悬浮/隐藏的系统菜单
2018/05/04 Javascript
vue使用Element组件时v-for循环里的表单项验证方法
2018/06/28 Javascript
vue 修改 data 数据问题并实时显示的方法
2018/08/27 Javascript
详解js模板引擎art template数组渲染的方法
2018/10/09 Javascript
[46:14]VGJ.T vs Liquid 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
python实现的一个火车票转让信息采集器
2014/07/09 Python
Python单例模式实例分析
2015/01/14 Python
使用C语言扩展Python程序的简单入门指引
2015/04/14 Python
Python获取当前公网ip并自动断开宽带连接实例代码
2018/01/12 Python
python 基于dlib库的人脸检测的实现
2019/11/08 Python
Django 多对多字段的更新和插入数据实例
2020/03/31 Python
html5 Canvas画图教程(2)—画直线与设置线条的样式如颜色/端点/交汇点
2013/01/09 HTML / CSS
浅谈HTML5中dialog元素尝鲜
2018/10/15 HTML / CSS
大专毕业生自我评价分享
2013/11/10 职场文书
国际金融专业大学生职业生涯规划书
2013/12/28 职场文书
竞选学生会演讲稿
2014/04/25 职场文书
运动会标语
2014/06/21 职场文书
学用政策心得体会
2014/09/10 职场文书
银行授权委托书样本
2014/10/13 职场文书
人力资源部岗位职责
2015/02/11 职场文书
电气工程师岗位职责
2015/02/12 职场文书
2016年国培心得体会及反思
2016/01/13 职场文书
2016年社区文体活动总结
2016/04/06 职场文书
go goroutine 怎样进行错误处理
2021/07/16 Golang
MySql中的json_extract函数处理json字段详情
2022/06/05 MySQL