Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中给List添加元素的4种方法分享
Nov 28 Python
python中dir函数用法分析
Apr 17 Python
Python程序中用csv模块来操作csv文件的基本使用教程
Mar 03 Python
python使用itchat库实现微信机器人(好友聊天、群聊天)
Jan 04 Python
Python 多个图同时在不同窗口显示的实现方法
Jul 07 Python
python 利用pyttsx3文字转语音过程详解
Sep 25 Python
如何使用python进行pdf文件分割
Nov 11 Python
python3的UnicodeDecodeError解决方法
Dec 20 Python
关于python 的legend图例,参数使用说明
Apr 17 Python
利用matplotlib为图片上添加触发事件进行交互
Apr 23 Python
jupyter notebook oepncv 显示一张图像的实现
Apr 24 Python
python Polars库的使用简介
Apr 21 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
sqlyog 中文乱码问题的设置方法
2008/10/19 PHP
基于header的一些常用指令详解
2013/06/06 PHP
PHP中array_map与array_column之间的关系分析
2014/08/19 PHP
php简单随机字符串生成方法示例
2017/04/19 PHP
aspx中利用js实现确认删除代码
2010/07/22 Javascript
使用js实现关闭js弹出层的窗口
2014/02/10 Javascript
Thinkphp模板没有解析直接原样输出的解决方法
2014/10/31 Javascript
深入理解JavaScript系列(36):设计模式之中介者模式详解
2015/03/04 Javascript
Jquery注册事件实现方法
2015/05/18 Javascript
JS使用正则表达式除去字符串中重复字符的方法
2015/11/05 Javascript
js根据手机客户端浏览器类型,判断跳转官网/手机网站多个实例代码
2016/04/30 Javascript
javascript 判断页面访问方式电脑或者移动端
2016/09/19 Javascript
vue2.0使用Sortable.js实现的拖拽功能示例
2017/02/21 Javascript
使用原生js写ajax实例(推荐)
2017/05/31 Javascript
angular第三方包开发整理(小结)
2018/04/19 Javascript
JavaScript设计模式--简单工厂模式定义与应用案例详解
2020/05/23 Javascript
vue + node如何通过一个Txt文件批量生成MP3并压缩成Zip
2020/06/02 Javascript
浅谈实现在线预览PDF的几种解决办法
2020/08/10 Javascript
Vue单页面应用中实现Markdown渲染
2021/02/14 Vue.js
wxPython定时器wx.Timer简单应用实例
2015/06/03 Python
Python实现学生成绩管理系统
2020/04/05 Python
django连接mysql配置方法总结(推荐)
2018/08/18 Python
一步步教你用python的scrapy编写一个爬虫
2019/04/17 Python
Django在admin后台集成TinyMCE富文本编辑器的例子
2019/08/09 Python
python点击鼠标获取坐标(Graphics)
2019/08/10 Python
python 画图 图例自由定义方式
2020/04/17 Python
html5版canvas自由拼图实例
2014/10/15 HTML / CSS
很酷的HTML5电子书翻页动画特效
2016/02/25 HTML / CSS
初级Java程序员面试题
2016/03/03 面试题
主题团日活动总结
2014/06/25 职场文书
战马观后感
2015/06/08 职场文书
幼儿园毕业典礼园长致辞
2015/07/29 职场文书
初中语文教学随笔
2015/08/15 职场文书
门面租赁合同范文
2019/08/06 职场文书
《文化苦旅》读后感:阅读,让人诗意地栖居在大地上
2019/12/24 职场文书
Python 如何将integer转化为罗马数(3999以内)
2021/06/05 Python