Django代码性能优化与Pycharm Profile使用详解


Posted in Python onAugust 26, 2018

前言

pycharm是python的一个商业的集成开发工具,本人感觉做python开发还是很好用的,django是一个很流行的python web开源框架,本文将通过实例代码给大家介绍了关于Django代码性能优化与Pycharm Profile使用的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧

是一段导出数据月报的脚本,原先需要十几秒,优化后只需要1秒多。

Pycharm Profile

优化第一步就是Profile,先看看慢在哪里。Pycharm自带Profile工具,很方便。
拿一张官方图说明一下。

Django代码性能优化与Pycharm Profile使用详解

图表说明:

  • 给出了函数调用关系。
  • 红色->黄绿色->绿色,颜色越深说明耗时越多。
  • 右上角的“x数字”代表函数调用次数。
  • Own代表该函数本身的耗时,不包括调用子函数;而Total包括调用子函数的耗时。还给出了耗时的百分比。
  • 可以右键“jump to source”,跳到对应的源码。

有了Profile,剩下的事情就好办了。

首先,看到了有个工具函数调用了9千多次,这个函数用到了nametupled,花了很多时间,于是把nametupled去掉,节省了好几秒的时间。

开启Django logger并设置DEBUG级别

继续Profile,看到时间主要在ORM查询数据库那里。
这时,开启Django本身的logger,级别调到DEBUG,这样就会打印出查询的SQL语句。

N+1问题

首先意识到的是ORM查询的N+1问题。

比如有个Order表,里面有个外键user_id是关联User表.当我们

for order in Order.objects.all():
 order.user.id

的时候,Order.objects.all()只有1条sql语句,获取Order表本身的字段到内存,而不会将关联的外键也获取。

当我们order.user_id的时候,不会触发额外的sql查询,而order.user.id的时候,会额外查询User表。

for循环执行了N次,就额外sql查询了N次。故叫N+1问题。

解决N+1的方法:

  • 如果是只用到id字段,则可以直接用user_id代替user.id
  • select_related。将相关的表也一同查询。select_related如果不传参数,表示查询所有外键的表。

又节省了几秒的时间。

只查询需要的字段

继续看log,发现sql查询次数是减少了很多,然而sql查询语句很长,看来是把所有字段都查询出来。

然而我很多时候只需要某几个字段而已,这样全查出来就浪费了。

解决方法:

  • only()。只查询想要的字段。比如Order.objects.only(‘user_id', ‘pay_date', ‘price')
  • annotate()。 可指定虚拟字段,如果外键关联的表只用到小部分字段,可以直接annotate过来。比如将User表的realname字段赋给Order表叫user_realname虚拟字段.这样就不需要order.user.realname查询,只需要order.user_realname来查询,不用select_related把user表全部字段给取出来。Order.objects.annotate(user_realname=F(‘user__realname'))。注意还用到了F(),表示纯数据库层面的操作,不需要拉到python内存进行处理。

An F() object represents the value of a model field or annotated column. It makes it possible to refer to model field values and perform database operations using them without actually having to pull them out of the database into Python memory.

至此,将整段代码的执行时间减少到了1.5秒。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python中的条件判断语句基础学习教程
Feb 07 Python
python遍历文件夹下所有excel文件
Jan 03 Python
Python中return self的用法详解
Jul 27 Python
对Python中的条件判断、循环以及循环的终止方法详解
Feb 08 Python
python把1变成01的步骤总结
Feb 27 Python
Django中使用 Closure Table 储存无限分级数据
Jun 06 Python
windows下python虚拟环境virtualenv安装和使用详解
Jul 16 Python
浅析Python语言自带的数据结构有哪些
Aug 27 Python
python实现复制大量文件功能
Aug 31 Python
使用Python第三方库pygame写个贪吃蛇小游戏
Mar 06 Python
windows、linux下打包Python3程序详细方法
Mar 17 Python
如何提高python 中for循环的效率
Apr 15 Python
django利用request id便于定位及给日志加上request_id
Aug 26 #Python
python如何创建TCP服务端和客户端
Aug 26 #Python
Django压缩静态文件的实现方法详析
Aug 26 #Python
Python实现将Excel转换成xml的方法示例
Aug 25 #Python
Python实现的简单计算器功能详解
Aug 25 #Python
Python基于OpenCV库Adaboost实现人脸识别功能详解
Aug 25 #Python
Python使用matplotlib绘制三维图形示例
Aug 25 #Python
You might like
Ha0k 0.3 PHP 网页木马修改版
2009/10/11 PHP
PHP多线程批量采集下载美女图片的实现代码(续)
2013/06/03 PHP
如何使用FireFox插件FirePHP调试PHP
2013/07/23 PHP
PHP的构造方法,析构方法和this关键字详细介绍
2013/10/22 PHP
php获取CSS文件中图片地址并下载到本地的方法
2014/12/02 PHP
10个php函数实用却不常见
2015/10/13 PHP
PHP中检索字符串的方法分析【strstr与substr_count方法】
2017/02/17 PHP
PHP基于SPL实现的迭代器模式示例
2018/04/22 PHP
PHP文件操作实例总结【文件上传、下载、分页】
2018/12/08 PHP
TP5框架使用QueryList采集框架爬小说操作示例
2020/03/26 PHP
JS限制上传图片大小不使用控件在本地实现
2012/12/19 Javascript
javascript将数组插入到另一个数组中的代码
2013/01/10 Javascript
ExtJS下书写动态生成的xml(兼容火狐)
2013/04/02 Javascript
js的alert弹出框出现乱码解决方案
2013/09/02 Javascript
基于jquery实现三级下拉菜单
2016/05/10 Javascript
js改变css样式的三种方法推荐
2016/06/28 Javascript
深入理解requestAnimationFrame的动画循环
2016/09/20 Javascript
javascript数组去重方法分析
2016/12/15 Javascript
微信小程序 switch组件详解及简单实例
2017/01/10 Javascript
AngularJS前端页面操作之用户修改密码功能示例
2017/03/27 Javascript
JavaScript之iterable_动力节点Java学院整理
2017/06/29 Javascript
jQueryUI Sortable 应用Demo(分享)
2017/09/07 jQuery
ES6中let 和 const 的新特性
2018/09/03 Javascript
ES6 Object方法扩展的应用实例分析
2019/06/25 Javascript
[02:45]2016年中国刀塔全程回顾,完美“圣”典即将上演
2016/12/15 DOTA
[49:21]TNC vs VG 2019DOTA2国际邀请赛淘汰赛 胜者组赛BO3 第三场 8.20.mp4
2019/08/22 DOTA
基于并发服务器几种实现方法(总结)
2017/12/29 Python
Python使用POP3和SMTP协议收发邮件的示例代码
2019/04/16 Python
python使用hdfs3模块对hdfs进行操作详解
2020/06/06 Python
CSS3弹性盒模型开发笔记(一)
2016/04/26 HTML / CSS
老师给学生的表扬信
2014/01/17 职场文书
开学典礼主持词
2014/03/19 职场文书
群众路线教育党课主持词
2014/04/01 职场文书
2014年幼儿园园长工作总结
2014/12/17 职场文书
紧急迫降观后感
2015/06/15 职场文书
党员发展大会主持词
2015/07/03 职场文书