Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python获取beautifulphoto随机某图片代码实例
Dec 18 Python
Python fileinput模块使用介绍
Nov 30 Python
django项目运行因中文而乱码报错的几种情况解决
Nov 07 Python
django rest framework 数据的查找、过滤、排序的示例
Jun 25 Python
python3.6 tkinter实现屏保小程序
Jul 30 Python
PyTorch中Tensor的拼接与拆分的实现
Aug 18 Python
Tensorflow 实现释放内存
Feb 03 Python
Python单元测试及unittest框架用法实例解析
Jul 09 Python
Python实现上下文管理器的方法
Aug 07 Python
python实现二分查找算法
Sep 18 Python
改变 Python 中线程执行顺序的方法
Sep 24 Python
python中的时区问题
Jan 14 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
PHP ? EasyUI DataGrid 资料取的方式介绍
2012/11/07 PHP
php使用function_exists判断函数可用的方法
2014/11/19 PHP
PHP文件上传问题汇总(文件大小检测、大文件上传处理)
2015/12/24 PHP
Yii实现简单分页的方法
2016/04/29 PHP
mac下多个php版本快速切换的方法
2016/10/09 PHP
基于PHP实现栈数据结构和括号匹配算法示例
2017/08/10 PHP
php+ajax实现无刷新文件上传功能(ajaxuploadfile)
2018/02/11 PHP
Laravel使用Queue队列的技巧汇总
2019/09/02 PHP
jQuery操作input type=radio的实现代码
2012/06/14 Javascript
javascript之Partial Application学习
2013/01/10 Javascript
js中的hasOwnProperty和isPrototypeOf方法使用实例
2014/06/06 Javascript
ext combobox动态加载数据库数据(附前后台)
2014/06/17 Javascript
extjs 时间范围选择自动判断的实现代码
2014/06/24 Javascript
jQuery搜索同辈元素方法
2015/02/10 Javascript
jQuery解析XML文件同时动态增加js文件的方法
2015/06/01 Javascript
JavaScript编程中的Promise使用大全
2015/07/28 Javascript
JavaScript获取function所有参数名的方法
2015/10/30 Javascript
纯javascript响应式树形菜单效果
2015/11/10 Javascript
angularjs封装bootstrap时间插件datetimepicker
2016/06/20 Javascript
vue调用高德地图实例代码
2017/04/28 Javascript
Node.js事件的正确使用方法
2019/04/05 Javascript
javascript 关于赋值、浅拷贝、深拷贝的个人理解
2019/11/01 Javascript
JS数据类型(基本数据类型、引用数据类型)及堆和栈的区别分析
2020/03/04 Javascript
ES6 Generator基本使用方法示例
2020/06/06 Javascript
使用Python的判断语句模拟三目运算
2015/04/24 Python
python使用线程封装的一个简单定时器类实例
2015/05/16 Python
python获取文件扩展名的方法
2015/07/06 Python
python cs架构实现简单文件传输
2020/03/20 Python
最新PyCharm 2020.2.3永久激活码(亲测有效)
2020/11/26 Python
英国时尚女装购物网站:Missguided
2018/08/23 全球购物
Nike加拿大官网:Nike.com (CA)
2019/04/09 全球购物
编写strcpy函数
2014/06/24 面试题
应届生人事助理求职信
2013/11/09 职场文书
个人查摆问题自查报告
2014/10/16 职场文书
2015年上半年党建工作总结
2015/03/30 职场文书
用人单位聘用意向书
2015/05/11 职场文书