Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python通过apply使用元祖和列表调用函数实例
May 26 Python
解决Python 遍历字典时删除元素报异常的问题
Sep 11 Python
TensorFlow数据输入的方法示例
Jun 19 Python
win10系统下Anaconda3安装配置方法图文教程
Sep 19 Python
Django ORM多对多查询方法(自定义第三张表&ManyToManyField)
Aug 09 Python
Python面向对象编程基础实例分析
Jan 17 Python
给Python学习者的文件读写指南(含基础与进阶)
Jan 29 Python
Python随机数函数代码实例解析
Feb 09 Python
TensorFLow 变量命名空间实例
Feb 11 Python
Pycharm安装第三方库失败解决方案
Nov 17 Python
Python 居然可以在 Excel 中画画你知道吗
Feb 15 Python
Python万能模板案例之matplotlib绘制甘特图
Apr 13 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
PHP 截取字符串 分别适合GB2312和UTF8编码情况
2009/02/12 PHP
php 获取客户端的真实ip
2009/11/30 PHP
PHP内核介绍及扩展开发指南―基础知识
2011/09/11 PHP
PHP中运用jQuery的Ajax跨域调用实现代码
2012/02/21 PHP
Yii框架分页技术实例分析
2019/08/30 PHP
Laravel timestamps 设置为unix时间戳的方法
2019/10/11 PHP
Javascript条件判断使用小技巧总结
2008/09/08 Javascript
Package.js  现代化的JavaScript项目make工具
2012/05/23 Javascript
JS弹出窗口代码大全(详细整理)
2012/12/21 Javascript
关于JS中的闭包浅谈
2013/08/23 Javascript
node.js+Ajax实现获取HTTP服务器返回数据
2014/11/26 Javascript
JS实现可展开折叠层的鼠标拖曳效果
2015/10/09 Javascript
Javascript中return的使用与闭包详解
2017/01/11 Javascript
利用Javascript实现简单的转盘抽奖
2017/02/13 Javascript
layui弹出层效果实现代码
2017/05/19 Javascript
NodeJS实现视频转码的示例代码
2017/11/18 NodeJs
jQuery实现的导航条点击后高亮显示功能示例
2019/03/04 jQuery
JS实现骰子3D旋转效果
2019/10/24 Javascript
vue中@change兼容问题详解
2019/10/25 Javascript
Python标准库之多进程(multiprocessing包)介绍
2014/11/25 Python
利用python批量检查网站的可用性
2016/09/09 Python
遗传算法python版
2018/03/19 Python
如何使用python操作vmware
2019/07/27 Python
python itsdangerous模块的具体使用方法
2020/02/17 Python
浅析python标准库中的glob
2020/03/13 Python
Python 实现自动登录+点击+滑动验证功能
2020/06/10 Python
Python面向对象特殊属性及方法解析
2020/09/16 Python
python 窃取摄像头照片的实现示例
2021/01/08 Python
英国袜子店:Sock Shop
2017/01/11 全球购物
TUMI马来西亚官方网站:国际领先的高品质商旅箱包品牌
2018/04/26 全球购物
以实惠的价格轻松租车,免费取消:Easyrentcars
2019/07/16 全球购物
bonprix荷兰网上商店:便宜的服装、鞋子和家居用品
2020/07/04 全球购物
自动一体化专业求职信
2014/03/15 职场文书
golang中的空slice案例
2021/04/27 Golang
解决golang 关于全局变量的坑
2021/05/06 Golang
Python实现聚类K-means算法详解
2022/07/15 Python