Python的Django框架中的select_related函数对QuerySet 查询的优化


Posted in Python onApril 01, 2015

1. 实例的背景说明

假定一个个人信息系统,需要记录系统中各个人的故乡、居住地、以及到过的城市。数据库设计如下:

Python的Django框架中的select_related函数对QuerySet 查询的优化

Models.py 内容如下:

from django.db import models
 
class Province(models.Model):
  name = models.CharField(max_length=10)
  def __unicode__(self):
    return self.name
 
class City(models.Model):
  name = models.CharField(max_length=5)
  province = models.ForeignKey(Province)
  def __unicode__(self):
    return self.name
 
class Person(models.Model):
  firstname = models.CharField(max_length=10)
  lastname  = models.CharField(max_length=10)
  visitation = models.ManyToManyField(City, related_name = "visitor")
  hometown  = models.ForeignKey(City, related_name = "birth")
  living   = models.ForeignKey(City, related_name = "citizen")
  def __unicode__(self):
    return self.firstname + self.lastname

注1:创建的app名为“QSOptimize”

注2:为了简化起见,`qsoptimize_province` 表中只有2条数据:湖北省和广东省,`qsoptimize_city`表中只有三条数据:武汉市、十堰市和广州市
2. select_related()

对于一对一字段(OneToOneField)和外键字段(ForeignKey),可以使用select_related 来对QuerySet进行优化
作用和方法

在对QuerySet使用select_related()函数后,Django会获取相应外键对应的对象,从而在之后需要的时候不必再查询数据库了。以上例说明,如果我们需要打印数据库中的所有市及其所属省份,最直接的做法是:
 

>>> citys = City.objects.all()
>>> for c in citys:
...  print c.province
...

这样会导致线性的SQL查询,如果对象数量n太多,每个对象中有k个外键字段的话,就会导致n*k+1次SQL查询。在本例中,因为有3个city对象就导致了4次SQL查询:
 

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 2 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1 ;

注:这里的SQL语句是直接从Django的logger:‘django.db.backends'输出出来的

如果我们使用select_related()函数:
 

>>> citys = City.objects.select_related().all()
>>> for c in citys:
...  print c.province
...

就只有一次SQL查询,显然大大减少了SQL查询的次数:
 

SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
`QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM`QSOptimize_city`
INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`) ;

这里我们可以看到,Django使用了INNER JOIN来获得省份的信息。顺便一提这条SQL查询得到的结果如下:
 

+----+-----------+-------------+----+-----------+
| id | name   | province_id | id | name   |
+----+-----------+-------------+----+-----------+
| 1 | 武汉市  |      1 | 1 | 湖北省  |
| 2 | 广州市  |      2 | 2 | 广东省  |
| 3 | 十堰市  |      1 | 1 | 湖北省  |
+----+-----------+-------------+----+-----------+
3 rows in set (0.00 sec)

 
使用方法
函数支持如下三种用法:
*fields 参数

select_related() 接受可变长参数,每个参数是需要获取的外键(父表的内容)的字段名,以及外键的外键的字段名、外键的外键的外键…。若要选择外键的外键需要使用两个下划线“__”来连接。

例如我们要获得张三的现居省份,可以用如下方式:
 

>>> zhangs = Person.objects.select_related('living__province').get(firstname=u"张",lastname=u"三")
>>> zhangs.living.province

触发的SQL查询如下:
 

SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`,
`QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`,
`QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`,
`QSOptimize_province`.`name`
FROM `QSOptimize_person`
INNER JOIN `QSOptimize_city` ON (`QSOptimize_person`.`living_id` = `QSOptimize_city`.`id`)
INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`)
WHERE (`QSOptimize_person`.`lastname` = '三' AND `QSOptimize_person`.`firstname` = '张' );

可以看到,Django使用了2次 INNER JOIN 来完成请求,获得了city表和province表的内容并添加到结果表的相应列,这样在调用 zhangs.living的时候也不必再次进行SQL查询。
 

+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
| id | firstname | lastname | hometown_id | living_id | id | name   | province_id | id | name   |
+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
| 1 | 张    | 三    |      3 |     1 | 1 | 武汉市  |  1     | 1 | 湖北省  |
+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+
1 row in set (0.00 sec)

然而,未指定的外键则不会被添加到结果中。这时候如果需要获取张三的故乡就会进行SQL查询了:
 

>>> zhangs.hometown.province
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`,
`QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
WHERE `QSOptimize_city`.`id` = 3 ;
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` = 1

同时,如果不指定外键,就会进行两次查询。如果深度更深,查询的次数更多。

值得一提的是,从Django 1.7开始,select_related()函数的作用方式改变了。在本例中,如果要同时获得张三的故乡和现居地的省份,在1.7以前你只能这样做:
 

>>> zhangs = Person.objects.select_related('hometown__province','living__province').get(firstname=u"张",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province

但是1.7及以上版本,你可以像和queryset的其他函数一样进行链式操作:
 

>>> zhangs = Person.objects.select_related('hometown__province').select_related('living__province').get(firstname=u"张",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province

如果你在1.7以下版本这样做了,你只会获得最后一个操作的结果,在本例中就是只有现居地而没有故乡。在你打印故乡省份的时候就会造成两次SQL查询。
depth 参数

select_related() 接受depth参数,depth参数可以确定select_related的深度。Django会递归遍历指定深度内的所有的OneToOneField和ForeignKey。以本例说明:
 

>>> zhangs = Person.objects.select_related(depth = d)

d=1  相当于 select_related(‘hometown','living')

d=2  相当于 select_related(‘hometown__province','living__province')
无参数

select_related() 也可以不加参数,这样表示要求Django尽可能深的select_related。例如:zhangs = Person.objects.select_related().get(firstname=u”张”,lastname=u”三”)。但要注意两点:

    Django本身内置一个上限,对于特别复杂的表关系,Django可能在你不知道的某处跳出递归,从而与你想的做法不一样。具体限制是怎么工作的我表示不清楚。
    Django并不知道你实际要用的字段有哪些,所以会把所有的字段都抓进来,从而会造成不必要的浪费而影响性能。

 
小结

  1.     select_related主要针一对一和多对一关系进行优化。
  2.     select_related使用SQL的JOIN语句进行优化,通过减少SQL查询的次数来进行优化、提高性能。
  3.     可以通过可变长参数指定需要select_related的字段名。也可以通过使用双下划线“__”连接字段名来实现指定的递归查询。没有指定的字段不会缓存,没有指定的深度不会缓存,如果要访问的话Django会再次进行SQL查询。
  4.     也可以通过depth参数指定递归的深度,Django会自动缓存指定深度内所有的字段。如果要访问指定深度外的字段,Django会再次进行SQL查询。
  5.     也接受无参数的调用,Django会尽可能深的递归查询所有的字段。但注意有Django递归的限制和性能的浪费。
  6.     Django >= 1.7,链式调用的select_related相当于使用可变长参数。Django < 1.7,链式调用会导致前边的select_related失效,只保留最后一个。

Python 相关文章推荐
python定时采集摄像头图像上传ftp服务器功能实现
Dec 23 Python
用Python登录Gmail并发送Gmail邮件的教程
Apr 17 Python
详细介绍Python中的偏函数
Apr 27 Python
Phantomjs抓取渲染JS后的网页(Python代码)
May 13 Python
微信跳一跳辅助python代码实现
Jan 05 Python
Python实现的求解最大公约数算法示例
May 03 Python
python 实现对文件夹中的图像连续重命名方法
Oct 25 Python
解决python中无法自动补全代码的问题
Dec 04 Python
pywinauto自动化操作记事本
Aug 26 Python
线程安全及Python中的GIL原理分析
Oct 29 Python
在python里使用await关键字来等另外一个协程的实例
May 04 Python
音频处理 windows10下python三方库librosa安装教程
Jun 20 Python
简单的Python2.7编程初学经验总结
Apr 01 #Python
极简的Python入门指引
Apr 01 #Python
分析在Python中何种情况下需要使用断言
Apr 01 #Python
用Python制作简单的朴素基数估计器的教程
Apr 01 #Python
简单的编程0基础下Python入门指引
Apr 01 #Python
python查找目录下指定扩展名的文件实例
Apr 01 #Python
Python利用多进程将大量数据放入有限内存的教程
Apr 01 #Python
You might like
php如何调用webservice应用介绍
2012/11/24 PHP
PHP统计二维数组元素个数的方法
2013/11/12 PHP
Zend Framework动作助手Json用法实例分析
2016/03/05 PHP
读jQuery之七 判断点击了鼠标哪个键的代码
2011/06/21 Javascript
JavaScript调试技巧之console.log()详解
2014/03/19 Javascript
js阻止事件追加的具体实现
2014/10/15 Javascript
jquery实现根据浏览器窗口大小自动缩放图片的方法
2015/07/17 Javascript
深入理解js promise chain
2016/05/05 Javascript
JavaScript继承学习笔记【新手必看】
2016/05/10 Javascript
js本地图片预览实现代码
2016/10/09 Javascript
分享bootstrap学习笔记心得(组件及其属性)
2017/01/11 Javascript
Vue.js中用webpack合并打包多个组件并实现按需加载
2017/02/17 Javascript
jquery仿ps颜色拾取功能
2017/03/08 Javascript
Vue中的slot使用插槽分发内容的方法
2018/03/01 Javascript
原生JavaScript实现todolist功能
2018/03/02 Javascript
JS中通过url动态获取图片大小的方法小结(两种方法)
2018/10/31 Javascript
vue单页面实现当前页面刷新或跳转时提示保存
2018/11/02 Javascript
使用express获取微信小程序二维码小记
2019/05/21 Javascript
vue 解决兄弟组件、跨组件深层次的通信操作
2020/07/27 Javascript
js实现跳一跳小游戏
2020/07/31 Javascript
[01:02:38]DOTA2-DPC中国联赛定级赛 LBZS vs Phoenix BO3第二场 1月10日
2021/03/11 DOTA
Python实现base64编码的图片保存到本地功能示例
2018/06/22 Python
Python中的引用知识点总结
2019/05/20 Python
Python内置方法实现字符串的秘钥加解密(推荐)
2019/12/09 Python
纯css3实现图片翻牌特效
2015/03/10 HTML / CSS
蒂芙尼澳大利亚官方网站:Tiffany&Co. Australia
2017/08/27 全球购物
CHARLES & KEITH台湾官网:新加坡时尚品牌
2019/07/30 全球购物
Habitat家居英国官方网站:沙发、家具、照明、厨房和户外
2019/12/12 全球购物
出纳员的岗位职责
2014/02/22 职场文书
责任心演讲稿
2014/05/14 职场文书
2014年民主评议党员工作总结
2014/12/02 职场文书
企业介绍信范文
2015/01/30 职场文书
2019年英语版感谢信(8篇)
2019/09/29 职场文书
JavaScript 实现页面滚动动画
2021/04/24 Javascript
Python合并pdf文件的工具
2021/07/01 Python
关于使用Redisson订阅数问题
2022/01/18 Redis