Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
go和python调用其它程序并得到程序输出
Feb 10 Python
python多重继承新算法C3介绍
Sep 28 Python
详解Python判定IP地址合法性的三种方法
Mar 06 Python
基于python 爬虫爬到含空格的url的处理方法
May 11 Python
python3实现163邮箱SMTP发送邮件
May 22 Python
selenium+python 对输入框的输入处理方法
Oct 11 Python
基于python3 pyQt5 QtDesignner实现窗口化猜数字游戏功能
Jul 15 Python
基于pandas中expand的作用详解
Dec 17 Python
Python json读写方式和字典相互转化
Apr 18 Python
Python制作数据预测集成工具(值得收藏)
Aug 21 Python
python map比for循环快在哪
Sep 21 Python
如何使用PyCharm引入需要使用的包的方法
Sep 22 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
php中使用redis队列操作实例代码
2013/02/07 PHP
PHP 自定义错误处理函数trigger_error()
2013/03/26 PHP
php设计模式之观察者模式的应用详解
2013/05/21 PHP
详细解读PHP的Yii框架中登陆功能的实现
2015/08/21 PHP
PHP的Yii框架中使用数据库的配置和SQL操作实例教程
2016/03/17 PHP
thinkPHP批量删除的实现方法分析
2016/11/09 PHP
PHP实现断点续传乱序合并文件的方法
2018/09/06 PHP
jquery URL参数判断,确定菜单样式
2010/05/31 Javascript
用Javascript实现Windows任务管理器的代码
2012/03/27 Javascript
JavaScript高级程序设计 阅读笔记(十二) js内置对象Math
2012/08/14 Javascript
JavaScript获取FCK编辑器信息的具体方法
2013/07/12 Javascript
原生javascript实现简单的datagrid数据表格
2015/01/02 Javascript
js获取checkbox值的方法
2015/01/28 Javascript
js代码实现随机颜色的小方块
2015/07/30 Javascript
jquery实现鼠标经过显示下划线的渐变下拉菜单效果代码
2015/08/24 Javascript
Bootstrap表单简单实现代码
2017/03/06 Javascript
关于前后端json数据的发送与接收详解
2017/07/30 Javascript
vuejs项目打包之后的首屏加载优化及打包之后出现的问题
2018/04/01 Javascript
Node.js Express安装与使用教程
2018/05/11 Javascript
mpvue 如何使用腾讯视频插件的方法
2018/07/16 Javascript
jQuery表单元素过滤选择器用法实例分析
2019/02/20 jQuery
详解vue beforeEach 死循环问题解决方法
2020/02/25 Javascript
35个Python编程小技巧
2014/04/01 Python
python将字符串转换成数组的方法
2015/04/29 Python
python:socket传输大文件示例
2017/01/18 Python
Python实现的多项式拟合功能示例【基于matplotlib】
2018/05/15 Python
python实现kmp算法的实例代码
2019/04/03 Python
python检测服务器端口代码实例
2019/08/31 Python
python 双循环遍历list 变量判断代码
2020/05/04 Python
请说出你所知道的线程同步的方法
2013/04/19 面试题
应聘收银员个人的求职信
2013/11/30 职场文书
《鲁班和橹板》教学反思
2014/04/27 职场文书
2014年学校领导班子对照检查材料
2014/09/19 职场文书
2015年信息技术教研组工作总结
2015/07/22 职场文书
使用SQL实现车流量的计算的示例代码
2022/02/28 SQL Server
光之国的四大叛徒:第一贝利亚导致宇宙毁灭,赛文奥特曼在榜
2022/03/18 日漫