Python中用memcached来减少数据库查询次数的教程


Posted in Python onApril 07, 2015

本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个很简单很白痴但是 我一直没发现的好方法(不得不BS我自己):直接像某些php应用比如Discuz论坛那样,在生成的网页中打印出“本页面生成时间多少多少秒”,然后在 不停地访问网页测试时,很直观地就能发现什么操作会导致瓶颈,怎样来解决瓶颈了。

于是我发现SimpleCD在 生成首页时,意外地竟然需要0.2秒左右,真真不能忍:对比Discuz论坛首页平均生成才0.02秒,而Discuz论坛的首页页面无疑比 SimpleCD的主页要复杂不少;这让我情何以堪啊,因为这必然不是Python语言导致的差距,只能说是我完全没做优化而Discuz程序优化得很好 的后果。

其实不用分析也能知道肯定是数据库在拖累,SimpleCD在生成首页时需要在sqlite的三个数据库中进行42多次查询,是历史原因导致的极其低效的一个设计;但是这40多次查询中,其实大部分是非常快的查询,仔细分析一下就有两个是性能大户,其他都不慢。

第一个大户就是:获取数据个数
 

SELECT count(*) FROM verycd

这个操作每次都要花不少时间,这是因为每次数据库都要锁住然后遍历一遍主键统计个数的缘故,数据量越大耗时就越大,耗时为O(N),N为数据库大小;实际 上解决这个问题非常容易,只要随便在哪存一个当前数据的个数,只有在增删数据的时候改动就行了,这样时间就是O(1)的了

第二个大户就是:获取最新更新的20个数据列表
 

SELECT verycdid,title,brief,updtime FROM verycd
 
  ORDER BY updtime DESC LIMIT 20;

因为在updtime上面做了索引,所以其实真正查询时间也就是搜索索引的时间而已。然则为什么这个操作会慢呢?因为我的数据是按照publish time插入的,按update time进行显示的话就肯定需要在至少20个不同的地方做I/O,这么一来就慢了。解决的方法就是让它在一个地方做I/O。也就是,除非数据库加入新数据 /改变原有数据,否则把这条语句的返回结果缓存起来。这么一来又快了20倍:)

接下来的是20条小case:取得发布人和点击数信息
 

SELECT owner FROM LOCK WHERE id=XXXX;
 
SELECT hits FROM stat WHERE id=XXXX;

这里为什么没用sql的join语句来省点事呢?因为架构原因这些数据放在不同的数据库里,stat是点击率一类的数据库,因为需要频繁的插入所以用 mysql存储;而lock和verycd是需要大量select操作的数据库,因为mysql悲剧的索引使用情况和分页效率而存放在了sqlite3数 据库,所以无法join -.-

总之这也不是问题,跟刚才的解决方法一样,统统缓存

所以纵观我这个例子,优化网页性能可以一言以蔽之,缓存数据库查询,即可。我相信大部分网页应用都是这样:)

终于轮到memcached了,既然打算缓存,用文件做缓存的话还是有磁盘I/O,不如直接缓存到内存里面,内存I/O可就快多了。于是memcached顾名思义就是这么个东东。

memcached是很强大的工具,因为它可以支持分布式的共享内存缓存,大站都用它,对小站点来说,只要出得起内存,这也是好东西;首页所需要的内存缓冲区大小估计不会超过10K,更何况我现在也是内存土豪了,还在乎这个?

配置运行:因为是单机没啥好配的,改改内存和端口就行了
 

vi /etc/memcached.conf
 
/etc/init.d/memcached restart

在python的网页应用中使用之
 

import memcache
 
mc = memcache.Client(['127.0.0.1:11211'], debug=0)

memcache其实就是一个map结构,最常使用的就是两个函数了:

  1.     第一个就是set(key,value,timeout),这个很简单就是把key映射到value,timeout指的是什么时候这个映射失效
  2.     第二个就是get(key)函数,返回key所指向的value

于是对一个正常的sql查询可以这么干

sql = 'select count(*) from verycd'
 
c = sqlite3.connect('verycd.db').cursor()
 
 
 
# 原来的处理方式
 
c.execute(sql)
 
count = c.fetchone()[0]
 
 
 
# 现在的处理方式
 
from hashlib import md5
 
key=md5(sql)
 
count = mc.get(key)
 
if not count:
 
  c.execute(sql)
 
  count = c.fetchone()[0]
 
  mc.set(key,count,60*5) #存5分钟

 

其中md5是为了让key分布更均匀,其他代码很直观我就不解释了。

优化过语句1和语句2后,首页的平均生成时间已经降低到0.02秒,和discuz一个量级了;再经过语句3的优化,最终结果是首页生成时间降低到了 0.006秒左右,经过memcached寥寥几行代码的优化,性能提高了3300%。终于可以挺直腰板来看Discuz了)

Python 相关文章推荐
Django使用unittest模块进行单元测试过程解析
Aug 02 Python
Python 继承,重写,super()调用父类方法操作示例
Sep 29 Python
Python箱型图绘制与特征值获取过程解析
Oct 22 Python
python 实现批量替换文本中的某部分内容
Dec 13 Python
keras之权重初始化方式
May 21 Python
python3 re返回形式总结
Nov 20 Python
python 基于opencv实现图像增强
Dec 23 Python
简述python四种分词工具,盘点哪个更好用?
Apr 13 Python
PyCharm 安装与使用配置教程(windows,mac通用)
May 12 Python
python元组打包和解包过程详解
Aug 02 Python
Python学习开发之图形用户界面详解
Aug 23 Python
python实现层次聚类的方法
Nov 01 Python
Python3中常用的处理时间和实现定时任务的方法的介绍
Apr 07 #Python
Python中使用pprint函数进行格式化输出的教程
Apr 07 #Python
利用QT写一个极简单的图形化Python闹钟程序
Apr 07 #Python
分析Python编程时利用wxPython来支持多线程的方法
Apr 07 #Python
Python中尝试多线程编程的一个简明例子
Apr 07 #Python
Python的Flask框架中Flask-Admin库的简单入门指引
Apr 07 #Python
用Python实现一个简单的线程池
Apr 07 #Python
You might like
php批量更改数据库表前缀实现方法
2013/10/26 PHP
利用PHP命令行模式采集股票趋势信息
2016/08/09 PHP
php分页查询mysql结果的base64处理方法示例
2017/05/18 PHP
Laravel模型事件的实现原理详解
2018/03/14 PHP
FF IE兼容性的修改小结
2009/09/02 Javascript
JQuery显示、隐藏div的几种方法简明总结
2015/04/16 Javascript
js拆分字符串并将分割的数据放到数组中的方法
2015/05/06 Javascript
再谈JavaScript线程
2015/07/10 Javascript
jquery实现简易的移动端验证表单
2015/11/08 Javascript
AngularJS身份验证的方法
2016/02/17 Javascript
JS动态的把左边列表添加到右边的实现代码(可上下移动)
2016/11/17 Javascript
JS验证不重复验证码
2017/02/10 Javascript
JS异步文件上传(兼容IE8+)
2017/04/02 Javascript
vue实现todolist基本功能以及数据存储功能实例详解
2019/04/11 Javascript
mpvue实现小程序签到金币掉落动画(api实现)
2019/10/17 Javascript
微信小程序实现图片压缩
2019/12/03 Javascript
jQuery实现滑动开关效果
2020/08/02 jQuery
python实现带验证码网站的自动登陆实现代码
2015/01/12 Python
python实现在windows服务中新建进程的方法
2015/06/30 Python
Python常见异常分类与处理方法
2017/06/04 Python
python3使用requests模块爬取页面内容的实战演练
2017/09/25 Python
python django使用haystack:全文检索的框架(实例讲解)
2017/09/27 Python
Python cookbook(数据结构与算法)从序列中移除重复项且保持元素间顺序不变的方法
2018/03/13 Python
浅析python3中的os.path.dirname(__file__)的使用
2018/08/30 Python
解决Pycharm下面出现No R interpreter defined的问题
2018/10/29 Python
django使用admin站点上传图片的实例
2019/07/28 Python
python3连接kafka模块pykafka生产者简单封装代码
2019/12/23 Python
对Pytorch中Tensor的各种池化操作解析
2020/01/03 Python
python itsdangerous模块的具体使用方法
2020/02/17 Python
Python爬虫实现HTTP网络请求多种实现方式
2020/06/19 Python
iPhoneX安全区域(Safe Area)底部小黑条在微信小程序和H5的屏幕适配
2020/04/08 HTML / CSS
在家更换处方镜片:Lensabl
2019/05/01 全球购物
ManoMano英国:欧洲第一家专注于DIY和园艺市场的电商平台
2020/03/12 全球购物
个人委托书
2014/07/31 职场文书
浅谈Python3中datetime不同时区转换介绍与踩坑
2021/08/02 Python
spring cloud 配置中心native配置方式
2021/09/25 Java/Android