Python 使用 PyMysql、DBUtils 创建连接池提升性能


Posted in Python onAugust 14, 2019

Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作,但是每次连接 MySQL 数据库请求时,都是独立的去请求访问,相当浪费资源,而且访问数量达到一定数量时,对 mysql 的性能会产生较大的影响。因此,实际使用中,通常会使用数据库的连接池技术,来访问数据库达到资源复用的目的。

解决方案:DBUtils

DBUtils 是一套 Python 数据库连接池包,并允许对非线程安全的数据库接口进行线程安全包装。DBUtils 来自 Webware for Python 。

原理:

Python 使用 PyMysql、DBUtils 创建连接池提升性能

  • 在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度
  • 关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

例子

import pymysql
from DBUtils.PooledDB import PooledDB
pool = PooledDB(pymysql,5,host='ip',user='user',passwd='passwd',db='db',port=3306,setsession=['SET AUTOCOMMIT = 1']) # 5为连接池里的最少连接数,setsession=['SET AUTOCOMMIT = 1']是用来设置线程池是否打开自动更新的配置,0为False,1为True
conn = pool.connection() #以后每次需要数据库连接就是用connection()函数获取连接就好了
cur=conn.cursor()
SQL="select * from table"
count=cur.execute(SQL)
results=cur.fetchall()
cur.close()
conn.close()

PooledDB 的参数:

POOL = PooledDB(
creator=pymysql, # 使用链接数据库的模块
maxconnections=6, # 连接池允许的最大连接数,0和None表示不限制连接数
mincached=2, # 初始化时,链接池中至少创建的空闲的链接,0表示不创建
maxcached=5, # 链接池中最多闲置的链接,0和None不限制
maxshared=1, # 链接池中最多共享的链接数量,0和None表示全部共享。PS: 无用,因为pymysql和MySQLdb等模块的 threadsafety都为1,所有值无论设置为多少,_maxcached永远为0,所以永远是所有链接都共享。
blocking=True, # 连接池中如果没有可用连接后,是否阻塞等待。True,等待;False,不等待然后报错
maxusage=None, # 一个链接最多被重复使用的次数,None表示无限制
setsession=[], # 开始会话前执行的命令列表。如:[“set datestyle to …”, “set time zone …”]
ping=0,
# ping MySQL服务端,检查是否服务可用。
# 如:0 = None = never,
# 1 = default = whenever it is requested,
# 2 = when a cursor is created,
# 4 = when a query is executed,
# 7 = always
host=‘127.0.0.1',
port=3306,
user=‘root',
password='',
database=‘ziji',
charset=‘utf8'
)

在 uwsgi 中,每个 http 请求都会分发给一个进程,连接池中配置的连接数都是一个进程为单位的(即上面的最大连接数,都是在一个进程中的连接数),而如果业务中,一个 http 请求中需要的 sql 连接数不是很多的话(其实大多数都只需要创建一个连接),配置的连接数配置都不需要太大。

连接池对性能的提升表现在:

在程序创建连接的时候,可以从一个空闲的连接中获取,不需要重新初始化连接,提升获取连接的速度关闭连接的时候,把连接放回连接池,而不是真正的关闭,所以可以减少频繁地打开和关闭连接

总结

以上所述是小编给大家介绍的Python 使用 PyMysql、DBUtils 创建连接池提升性能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中IPYTHON入门实例
May 11 Python
python删除特定文件的方法
Jul 30 Python
Python tkinter模块弹出窗口及传值回到主窗口操作详解
Jul 28 Python
Django使用Mysql数据库已经存在的数据表方法
May 27 Python
Python日期时间模块datetime详解与Python 日期时间的比较,计算实例代码
Sep 14 Python
python中的tcp示例详解
Dec 09 Python
对python中list的拷贝与numpy的array的拷贝详解
Jan 29 Python
Python实现简单查找最长子串功能示例
Feb 26 Python
Python面向对象程序设计类变量与成员变量、类方法与成员方法用法分析
Apr 12 Python
详解Python列表赋值复制深拷贝及5种浅拷贝
May 15 Python
Python 合并多个TXT文件并统计词频的实现
Aug 23 Python
使用python+whoosh实现全文检索
Dec 09 Python
Python学习笔记之For循环用法详解
Aug 14 #Python
Python学习笔记之Zip和Enumerate用法实例分析
Aug 14 #Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 #Python
使用python写的opencv实时监测和解析二维码和条形码
Aug 14 #Python
用python3 urllib破解有道翻译反爬虫机制详解
Aug 14 #Python
使用Python实现图像标记点的坐标输出功能
Aug 14 #Python
python2爬取百度贴吧指定关键字和图片代码实例
Aug 14 #Python
You might like
php中批量删除Mysql中相同前缀的数据表的代码
2011/07/01 PHP
基于Discuz security.inc.php代码的深入分析
2013/06/03 PHP
php 模拟 asp.net webFrom 按钮提交事件实例
2014/10/13 PHP
ThinkPHP模型详解
2015/07/27 PHP
PHP新特性之字节码缓存和内置服务器
2017/08/11 PHP
突发奇想的一个jquery插件
2010/11/19 Javascript
JQuery扩展插件Validate 1 基本使用方法并打包下载
2011/09/05 Javascript
jquery插件jTimer(jquery定时器)使用方法
2013/12/23 Javascript
BootStrap的弹出框(Popover)支持鼠标移到弹出层上弹窗层不隐藏的原因及解决办法
2016/04/03 Javascript
jQuery循环遍历子节点并获取值的方法
2016/04/14 Javascript
JS排序之快速排序详解
2017/04/08 Javascript
Angular 2父子组件之间共享服务通信的实现
2017/07/04 Javascript
JS同步、异步、延迟加载的方法
2018/05/05 Javascript
微信小程序利用canvas 绘制幸运大转盘功能
2018/07/06 Javascript
vue App.vue中的公共组件改变值触发其他组件或.vue页面监听
2019/05/31 Javascript
vue实现购物车列表
2020/06/30 Javascript
JS+css3实现幻灯片轮播图
2020/08/14 Javascript
针对Vue路由history模式下Nginx后台配置操作
2020/10/22 Javascript
python 多线程应用介绍
2012/12/19 Python
python批量生成本地ip地址的方法
2015/03/23 Python
Python+PIL实现支付宝AR红包
2018/02/09 Python
手把手教你使用Python创建微信机器人
2019/04/29 Python
python读出当前时间精度到秒的代码
2019/07/05 Python
Python使用字典实现的简单记事本功能示例
2019/08/15 Python
python 窃取摄像头照片的实现示例
2021/01/08 Python
Flask处理Web表单的实现方法
2021/01/31 Python
css3+伪元素实现鼠标移入时下划线向两边展开的效果
2017/04/25 HTML / CSS
HTML5中新标签和常用标签详解
2014/03/07 HTML / CSS
香港草莓网土耳其网站:Strawberrynet TR
2017/03/02 全球购物
KIKO MILANO英国官网:意大利知名化妆品和护肤品品牌
2017/09/25 全球购物
英国领先的酒杯和水晶玻璃器皿制造商:Dartington Crystal
2019/06/23 全球购物
澳大利亚在线奢侈品时尚零售平台:Azura Runway
2021/01/13 全球购物
个人自我评价分享
2013/12/20 职场文书
工程造价专业大学生职业生涯规划书
2014/01/18 职场文书
行政专员求职信范文
2014/05/03 职场文书
2016年国庆节新闻稿范文
2015/11/25 职场文书