django queryset相加和筛选教程


Posted in Python onMay 18, 2020

1、集合相加

a = {1,2,3}
b = {3,4,5}
print(type(a))
print(a|b)

2、queryset 符合条件的筛序

projects = Project_models.objects.filter(user=request.user).order_by('id')
projects = projects.filter(bad_numbers__gt=0).order_by('bad_numbers')

补充知识:django中聚合aggregate和annotate GROUP BY的使用方法

接触django已经很长时间了,但是使用QuerySet查询集的方式一直比较低端,只会使用filter/Q函数/exclude等方式来查询,数据量比较小的时候还可以,但是如果数据量很大,而且查询比较复杂,那么如果还是使用多个filter进行查询效率就会很低。就趁着清明放假的时间,跑来公司干点私活。输出成这篇文档,一是加深印象,提高熟练度;二是分享出来,造福大家~

提高查询数据库效率的方案有两种:

第一种,是使用原生的SQL语句来进行查询,这样的优点在于能够完全按照开发者的意图来执行,效率会很高,但是缺点也很明显:

1.开发者需要非常熟悉SQL语句,加大开发者的工作量,同时,夹杂着SQL的项目也不利于以后程序的维护,增大程序的耦合度。

2.若查询条件是动态变化的,则会使开发变得更加困难。

django为了解决这一难题,提供了aggregate(聚合函数)和annotate(在aggregate的基础上进行GROUP BY操作)。

下面,就来介绍第二种方法。

一. aggregate的使用方法

今天在同事的指点下,仔细看了django中annotate的使用方法,会根据查询条件来动态生成SQL语句,提高组合查询的效率。

理解aggregate的关键在于理解SQL中的聚合函数:以下摘自百度百科:SQL基本函数,聚合函数对一组值执行计算,并返回单个值。除了 COUNT 以外,聚合函数都会忽略空值。 常见的聚合函数有AVG / COUNT / MAX / MIN /SUM 等。

aggregate就是在django中实现聚合函数的。先来看aggregate的使用场景:在项目中有时候你想要从数据库中取出一个汇总的集合。我们使用django官方的例子:

from django.db import models

class Author(models.Model):
  name = models.CharField(max_length=100)
  age = models.IntegerField()

class Publisher(models.Model):
  name = models.CharField(max_length=300)
  num_awards = models.IntegerField()

class Book(models.Model):
  name = models.CharField(max_length=300)
  pages = models.IntegerField()
  price = models.DecimalField(max_digits=10, decimal_places=2)
  rating = models.FloatField()
  authors = models.ManyToManyField(Author)
  publisher = models.ForeignKey(Publisher)
  pubdate = models.DateField()

class Store(models.Model):
  name = models.CharField(max_length=300)
  books = models.ManyToManyField(Book)
  registered_users = models.PositiveIntegerField()

如果我们使用aggregate来进行计数:

>>> from django.db.models import Count
>>> pubs = Publisher.objects.aggregate(num_books=Count('book'))
>>> pubs
{'num_books': 27}

而且aggregate不单单可以求和,还可以求平均Avg,最大最小等等。

>>> from django.db.models import Avg
>>> Book.objects.all().aggregate(Avg('price'))
{'price__avg': 34.35}



# Cost per page 输出的名字同样可以指定,比如price_per_page
>>> from django.db.models import F, FloatField, Sum
>>> Book.objects.all().aggregate(
... price_per_page=Sum(F('price')/F('pages'), output_field=FloatField()))
{'price_per_page': 0.4470664529184653}

通过上面的介绍,我们可以知道,aggregate的逻辑比较简单,应用场景比较窄,如果你想要对数据进行分组(GROUP BY)后再聚合的操作,则需要使用annotate来实现。

二. annotate的使用方法

首先,假设有这么一个models:

# python:2.7.9
# django:1.7.8

class MessageTab(models.Model):
  msg_sn = models.CharField(max_lenth=20, verbose_name=u'编号')
  msg_name = models.CharField(max_length=50, verbose_name=u'消息名称')
  message_time = models.DateTimeField(verbose_name=u'消息出现时间')
  msg_status = models.CharField(max_length=50, default='未处理', verbose_name=u'消息状态')
  class Meta:
    db_table = 'message_tab'

如果在开发过程中,有这么一个需求:查询各个消息状态的数量。那么我们经常会使用filter(…).count(…)来进行查询。现在我们可以使用:

msgS = MessageTab.objects.values_list('msg_status').annotate(Count('id'))

其中,id为数据库自动生成的自增字段。values_list的用法自行Google,或者print出来看一看。

此时,数据库实际执行的代码,可以通过:

print msgS.query

打印出来。可以看到:

SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `id__count` FROM `message_tab` GROUP BY `message_tab`.`msg_status` ORDER BY NULL

很直观明了。通过msg_status来进行group by。如果想自定义id__count,比如指定为msg_num,则可以使用:annotate(msg_num=Count(‘id'))

当存在多个查询条件时,比如查询最近7天内,message_name属于某个分组内的消息,则可以使用Q函数:

date_end = now().date() + timedelta(days=1)
date_start = date_end - timedelta(days=7)
messageTimeRange = (date_start, date_end)
GroupList = getGroupIdLis(request.user) # 返回当前用户能查询的group的一个列表。。仅做参考用
qQueryList = [Q(message_time__range=messageTimeRange), Q(message_name__in=GroupList)] # 可以有多个Q函数查询条件

msgS = MessageTab.objects.filter(reduce(operator.and_, qQueryList)).values_list('msg_status').annotate(msg_num=Count('id'))

再次调用print msgS.query可看到SQL语句:

SELECT `message_tab`.`msg_status`, COUNT(`message_tab`.`id`) AS `msg_num` FROM `message_tab` WHERE (`message_tab`.`message_time` BETWEEN 2017-03-27 00:00:00 AND 2017-04-03 00:00:00 AND `message_tab`.`message_name` IN (1785785, 78757, 285889, 2727333, 7272957, 786767)) GROUP BY
 `message_tab`.`msg_status` ORDER BY NULL

是不是很完美!!

以上这篇django queryset相加和筛选教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用urllib2防止302跳转的代码例子
Jul 07 Python
Python之父谈Python的未来形式
Jul 01 Python
python使用正则表达式匹配字符串开头并打印示例
Jan 11 Python
用python找出那些被“标记”的照片
Apr 20 Python
Django的信号机制详解
May 05 Python
matplotlib绘制符合论文要求的图片实例(必看篇)
Jun 02 Python
python聚类算法解决方案(rest接口/mpp数据库/json数据/下载图片及数据)
Aug 28 Python
python图形开发GUI库wxpython使用方法详解
Feb 14 Python
Manjaro、pip、conda更换国内源的方法
Nov 17 Python
python 6种方法实现单例模式
Dec 15 Python
安装python依赖包psycopg2来调用postgresql的操作
Jan 01 Python
Python 中数组和数字相乘时的注意事项说明
May 10 Python
python中JWT用户认证的实现
May 18 #Python
python 实现读取csv数据,分类求和 再写进 csv
May 18 #Python
python 实现分组求和与分组累加求和代码
May 18 #Python
Django ORM实现按天获取数据去重求和例子
May 18 #Python
如何实现更换Jupyter Notebook内核Python版本
May 18 #Python
python mysql自增字段AUTO_INCREMENT值的修改方式
May 18 #Python
Pycharm安装并配置jupyter notebook的实现
May 18 #Python
You might like
Apache下禁止php文件被直接访问的解决方案
2013/04/25 PHP
10 个经典PHP函数
2013/10/17 PHP
yii实现CheckBox复选框在同一行显示的方法
2014/12/03 PHP
php实现文件管理与基础功能操作
2017/03/21 PHP
Yii 2.0如何使用页面缓存方法示例
2017/05/23 PHP
JavaScript.The.Good.Parts阅读笔记(一)假值与===运算符
2010/11/16 Javascript
js判断一个字符串是否包含一个子串的方法
2015/01/26 Javascript
JavaScript将数字转换成大写中文的方法
2015/03/23 Javascript
JavaScript中操作字符串之localeCompare()方法的使用
2015/06/06 Javascript
莱鸟介绍window.print()方法
2016/01/06 Javascript
Node.js批量给图片加水印的方法
2016/11/15 Javascript
Angular2学习笔记——详解NgModule模块
2016/12/02 Javascript
微信小程序 PHP后端form表单提交实例详解
2017/01/12 Javascript
原生JS实现的简单轮播图功能【适合新手】
2018/08/17 Javascript
微信小程序实现音乐播放器
2019/11/20 Javascript
nodejs如何在package.json中设置多条启动命令
2020/03/16 NodeJs
原生js实现的观察者和订阅者模式简单示例
2020/04/18 Javascript
vue 二维码长按保存和复制内容操作
2020/09/22 Javascript
基于Vue3.0开发轻量级手机端弹框组件V3Popup的场景分析
2020/12/30 Vue.js
[03:09]2014DOTA2国际邀请赛 Mushi前队友送上祝福
2014/07/12 DOTA
[56:56]VG vs LGD 2019国际邀请赛淘汰赛 胜者组 BO3 第一场 8.22
2019/09/05 DOTA
Python判断变量是否已经定义的方法
2014/08/18 Python
跟老齐学Python之有点简约的元组
2014/09/24 Python
python的re模块应用实例
2014/09/26 Python
Python3.6连接Oracle数据库的方法详解
2018/05/18 Python
Foot Locker意大利官网:全球领先的运动鞋和服装零售商
2017/05/30 全球购物
Delphi工程师笔试题
2013/09/21 面试题
项目经理的岗位职责
2013/11/23 职场文书
经理管理专业自荐信范文
2013/12/31 职场文书
卫校毕业生个人自我鉴定
2014/04/28 职场文书
股权转让协议书
2014/12/07 职场文书
英语教学课后反思
2016/02/15 职场文书
nginx如何将http访问的网站改成https访问
2021/03/31 Servers
使用goaccess分析nginx日志的详细方法
2021/07/09 Servers
Python可视化神器pyecharts绘制地理图表
2022/07/07 Python
基于Redission的分布式锁实战
2022/08/14 Redis