Django查询数据库的性能优化示例代码


Posted in Python onSeptember 24, 2017

前言

Django数据层提供各种途径优化数据的访问,一个项目大量优化工作一般是放在后期来做,早期的优化是“万恶之源”,这是前人总结的经验,不无道理。如果事先理解Django的优化技巧,开发过程中稍稍留意,后期会省不少的工作量。

现在有一张记录用户信息的UserInfo数据表,表中记录了10个用户的姓名,呢称,年龄,工作等信息.

models文件

from django.db import models
 
 class Job(models.Model):
  title=models.CharField(max_length=32)
 
 class UserInfo(models.Model):
  username=models.CharField(max_length=32)
  nickname=models.CharField(max_length=32)
  job=models.ForeignKey(to="Job",to_field="id",null=True)

数据表中记录:

Django查询数据库的性能优化示例代码

另一张数据表记录用户工作的Job表,关联用户的工作字段.

Django查询数据库的性能优化示例代码

要查出每个用户的用户名,呢称和工作等信息

def index(request):
  user_list=models.UserInfo.objects.all()
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
 
  for user in user_list:
 
   print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
 
  return render(request,'index.html')

打印信息:

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

在服务端进行这些操作,这些查询语句的性能是很低的,遍历取出这10个用户的姓名,呢称,工作等信息要在两张数据库中执行11次查询操作.

首先只从UserInfo表中查出所有的用户记录,需要执行一次查询操作.

查询Job数据表,每循环一次用户信息的列表,都需要从Job表中查询一次用户的工作信息.

数据表中总共记录了10条用户记录,所以还需要循环10次才能从Job表中查询完成所有用户的工作信息.所以一共需要执行11次数据库查询操作.

那有没有什么好的方法能够提高数据库查询的效率呢???

def index(request):
  user_list=models.UserInfo.objects.values("username","nickname","job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print(user["username"], user["nickname"], user["job"])
 
  return render(request,'index.html')

运行程序,在服务端后台打印信息:

SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

可以看到,查询的结果user_list依然是一个QuerySet,但这个对象集合内部却是一个字典.

而且这次的查询只执行了两次数据库查询操作.

通过这种方式,只需要两次查询就能得到想要的数据,优化了数据库的查询效率.

Django数据库优化操作之select_related主动联表查询

上面的例子里,取对象集合的时候,难道只能查询当前数据表,不能查询其他数据表吗??

当然不是,在这里还可以使用select_related这个方法.

在第一次查询的时候,在all()后面加上一个select_related来做主动的联表查询.

在创建这两张数据表时,job在UserInfo数据表中是做为一个ForeignKey存在的,所以加上select_related后不仅只查询到了UserInfo数据库的记录,同时也查询了Job数据表中的记录.

def index(request):
  user_list=models.UserInfo.objects.all().select_related("job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
 
  return render(request,'index.html')

服务端打印结果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

查看打印出来的查询语句,其中有

"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"

用来做联表查询,只需要一次就可以查询所有的数据了.

同样的,如果还想继续联表,例如在Job表中再加一个外键字段desc,只需要在查询语句中把desc加入进来就可以了

user_list=models.UserInfo.objects.all().select_related("job__desc")

这样一来就把三张表联系起来做联表查询了,但是一定要确保所加的字段为ForeignKey.

如果使用类似models.UserInfo.objects.all()语句进行查询时,不要做跨表查询,只查询当前表中有的数据,否则查询语句的性能会下降很多.

如果想查其他表中的数据,就加上select_related(ForeignKey字段名);

如果想取多个ForeignKey字段的数据,则可以使用select_related(ForeignKey字段1,ForeignKey字段2,...)

联表查询操作性能也会降低,select_related就是用来做主动联表查询的.

Django数据库优化操作之perfetch_related非主动联表查询

perfetch_related方法是既非主动联表查询,又不进行很多查询语句的一种折衷方案

修改视图函数index

def index(request):
 
  user_list=models.UserInfo.objects.all().prefetch_related("job")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
 
  return render(request,'index.html')

后端打印结果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

使用prefetch_related方法未联表执行两次查询操作

先查询用户表中的所有数据,把用户表中所有的job_id全部查询出来,并执行去重操作;

结果查询出用户的3种工作,接下来执行"select"语句查询"Job"数据表中的"title"字段

这样一来就只执行了两次数据表的查询操作

在prefetch_related方法中加入一个字段"job",执行了两次数据库查询操作;

如果再加一个字段,则会再多加一次数据为操作操作.

Django数据库优化操作之only方法

def index(request):
  user_list=models.UserInfo.objects.all().only("username")
 
  print(user_list.query)  # 打印查询时使用的语句
  print(type(user_list))  # 打印查询结果的数据类型
  print("user_list:",user_list)
 
  for user in user_list:
 
   print("%s-->%s" %(user.username,user.nickname))
 
  return render(request,'index.html')

服务端后台打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

执行查询操作的时候加上only方法,其查询结果还是一个对象集合,但是从打印出的查询语句可以看到,执行查询操作时只查询了用户的id字段和username字段,并没有查询nickname字段.

但是在后面的循环中,又可以打印用户的nikename信息.为什么呢,因为又执行了一次查询的请求操作.由此得知,查询操作使用了only方法,在only方法中加入哪个查询字段,在后面就使用哪个查询字段.

加only参数是从查询结果中只取某个字段,而另外一个defer方法则是从查询结果中排除某个字段

Django数据库优化操作之defer方法

修改index视图函数

def index(request):
 user_list=models.UserInfo.objects.all().defer("username")

 print(user_list.query)  # 打印查询时使用的语句
 print(type(user_list))  # 打印查询结果的数据类型
 print("user_list:",user_list)

 for user in user_list:

  print("%s" % user.nickname)

 return render(request,'index.html')

服务端打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

通过打印的查询语句可以知道,使用defer方法后,只从数据库中查询了用户的id字段和用户的nickname字段操作,并没有查询username字段,由此也可以提高Django查询数据库的性能.

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python字典序问题实例
Sep 26 Python
Python中正则表达式的详细教程
Apr 30 Python
Django中URLconf和include()的协同工作方法
Jul 20 Python
Python Nose框架编写测试用例方法
Oct 26 Python
python构建深度神经网络(DNN)
Mar 10 Python
Python 实现在文件中的每一行添加一个逗号
Apr 29 Python
浅谈Python 递归算法指归
Aug 22 Python
pycharm修改file type方式
Nov 19 Python
Pandas实现dataframe和np.array的相互转换
Nov 30 Python
Python综合应用名片管理系统案例详解
Jan 03 Python
Python绘制组合图的示例
Sep 18 Python
详解基于python的图像Gabor变换及特征提取
Oct 26 Python
python学习教程之使用py2exe打包
Sep 24 #Python
python数据结构之列表和元组的详解
Sep 23 #Python
Python字符串和字典相关操作的实例详解
Sep 23 #Python
使用Turtle画正螺旋线的方法
Sep 22 #Python
详谈python read readline readlines的区别
Sep 22 #Python
Python实现针对含中文字符串的截取功能示例
Sep 22 #Python
Python实现二维数组按照某行或列排序的方法【numpy lexsort】
Sep 22 #Python
You might like
php的header和asp中的redirect比较
2006/10/09 PHP
php获取mysql版本的几种方法小结
2008/03/25 PHP
兼容PHP5的PHP目录管理函数库
2008/07/10 PHP
PHP sprintf()函数用例解析
2011/05/18 PHP
PHP实用函数分享之去除多余的0
2015/02/06 PHP
100多行PHP代码实现socks5代理服务器[2]
2016/05/05 PHP
PHP中Session ID的实现原理实例分析
2019/08/17 PHP
IE中直接运行显示当前网页中的图片 推荐
2006/08/31 Javascript
ExtJS 2.0实用简明教程 之获得ExtJS
2009/04/29 Javascript
jqPlot 图表中文API使用文档及源码和在线示例
2012/02/07 Javascript
JS定时刷新页面及跳转页面的方法
2013/07/04 Javascript
JSON 数字排序多字段排序介绍
2013/09/18 Javascript
JavaScript前端开发之实现二进制读写操作
2015/11/04 Javascript
js获取url传值的方法
2015/12/18 Javascript
Javascript将数值转换为金额格式(分隔千分位和自动增加小数点)
2016/06/22 Javascript
全面解析Bootstrap表单样式的使用
2016/09/09 Javascript
canvas实现简易的圆环进度条效果
2017/02/28 Javascript
利用Vue实现移动端图片轮播组件的方法实例
2017/08/23 Javascript
深入浅析Vue中的 computed 和 watch
2018/06/06 Javascript
element-ui upload组件多文件上传的示例代码
2018/10/17 Javascript
angular4 获取wifi列表中文显示乱码问题的解决
2018/10/20 Javascript
探索JavaScript中私有成员的相关知识
2019/06/13 Javascript
Vue.js实现tab切换效果
2019/07/24 Javascript
如何在vue中使用百度地图添加自定义覆盖物(水波纹)
2020/11/03 Javascript
Python爬取qq music中的音乐url及批量下载
2017/03/23 Python
Centos7 Python3下安装scrapy的详细步骤
2018/03/15 Python
PyQt5每天必学之事件与信号
2018/04/20 Python
python爬取指定微信公众号文章
2018/12/20 Python
python3读取图片并灰度化图片的四种方法(OpenCV、PIL.Image、TensorFlow方法)总结
2019/07/04 Python
使用tensorflow DataSet实现高效加载变长文本输入
2020/01/20 Python
分享一枚pycharm激活码适用所有pycharm版本我的pycharm2020.2.3激活成功
2020/11/20 Python
python中封包建立过程实例
2021/02/18 Python
Delphi工程师笔试题
2013/09/21 面试题
4s店销售经理岗位职责
2014/07/19 职场文书
小学生思想品德评语
2014/12/31 职场文书
Nginx报错104:Connection reset by peer问题的解决及分析
2022/07/23 Servers