python使用多线程查询数据库的实现示例


Posted in Python onAugust 17, 2020

一.背景:

         当数据量过大时,一个程序的执行时间就会主要花费在等待单次查询返回结果,在这个过程中cpu无疑是处于等待io的空闲状态的,这样既浪费了cpu资源,又花费了大量时间(当然这里主要说多线程,批量查询不在考虑范围,总会存在不能批量查询的情况),在这种非密集型运算(及大量占用cpu资源)的情况下在python中无疑运用多线程是一个非常棒的选择。

二.知识点:

        数据库连接池的运用及优势,python中多线程的运用,队列的运用

        数据库连接池:限制了数据库的连接最大个数,每次连接都是可以重复使用的,当然也可以限制每个连接的重复使用次数(这个在这里是没必要的),需要注意的是设置的数据库的最大连接个数最好要大于我们自己开的最大线程个数,一般逻辑是每个线程占用一个数据库连接可以使程序达到最大速度,如果小于则可能存在同时连接个数大于数据库允许的最大连接个数的风险。使用数据库连接池的优势在于,python多线程并发操作数据库,会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题,而数据库连接池提供线程间可共享的数据库连接,并自动管理连接。

       python多线程:在程序等待io的时间里调用多线程去数据库执行查询操作。

       队列:这个就是数据结构里面的知识了,一般队列的常用模式先进先出队列。(这里主要用的是队列取一个数就少一个数的原理,其实用列表也可以实现,他的先进先出主要强调的是一个顺序关系,这一点到没用上,就当是练练手了)

三.两段代码作比较:

数据库的截图:

python使用多线程查询数据库的实现示例

第一段代码:正常循环查询并打印出执行时间

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool


start = time.time()
pool = mysql_connection()

for id in range(50):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)

end = time.time() - start
print(end)

执行结果:

python使用多线程查询数据库的实现示例

第二段代码:限制数据库连接池最大15个连接,用队列限制最大线程个数为10个

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool

def tread_connection_db(id):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)
  con.close()


if __name__=='__main__':
  start = time.time()
  #创建线程连接池,最大限制15个连接
  pool = mysql_connection()
  #创建队列,队列的最大个数及限制线程个数
  q=Queue.Queue(maxsize=10)
  #测试数据,多线程查询数据库
  for id in range(50):
    #创建线程并放入队列中
    t = threading.Thread(target=tread_connection_db, args=(id,))
    q.put(t)
    #队列队满
    if q.qsize()==10:
      #用于记录线程,便于终止线程
      join_thread = []
      #从对列取出线程并开始线程,直到队列为空
      while q.empty()!=True:
        t = q.get()
        join_thread.append(t)
        t.start()
      #终止上一次队满时里面的所有线程
      for t in join_thread:
        t.join()
  end = time.time() - start
  print(end)

程序备注应该还算比较清晰的哈,程序执行结果:

python使用多线程查询数据库的实现示例

四.结论:

看结果说话

到此这篇关于python使用多线程查询数据库的实现示例的文章就介绍到这了,更多相关python 多线程查询数据库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
30分钟搭建Python的Flask框架并在上面编写第一个应用
Mar 30 Python
PyQt5利用QPainter绘制各种图形的实例
Oct 19 Python
Python MySQLdb 使用utf-8 编码插入中文数据问题
Mar 13 Python
浅谈解除装饰器作用(python3新增)
Oct 15 Python
Python发送手机动态验证码代码实例
Feb 28 Python
Pycharm激活方法及详细教程(详细且实用)
May 12 Python
python爬虫容易学吗
Jun 02 Python
在python中list作函数形参,防止被实参修改的实现方法
Jun 05 Python
使用python求斐波那契数列中第n个数的值示例代码
Jul 26 Python
Python将list元素转存为CSV文件的实现
Nov 16 Python
Python3+SQLAlchemy+Sqlite3实现ORM教程
Feb 16 Python
python requests模块的使用示例
Apr 07 Python
python使用建议与技巧分享(一)
Aug 17 #Python
Python2.6版本pip安装步骤解析
Aug 17 #Python
python中pathlib模块的基本用法与总结
Aug 17 #Python
Pycharm无法打开双击没反应的问题及解决方案
Aug 17 #Python
详解python datetime模块
Aug 17 #Python
python实现梯度下降算法的实例详解
Aug 17 #Python
python3.5的包存放的具体路径
Aug 16 #Python
You might like
PHP 远程关机实现代码
2009/11/10 PHP
PHP+ajaxfileupload+jcrop插件完美实现头像上传剪裁
2014/06/09 PHP
php实现模拟登陆方正教务系统抓取课表
2015/05/19 PHP
ucenter中词语过滤原理分析
2016/07/13 PHP
记录一次排查PHP脚本执行卡住的问题
2016/12/27 PHP
php高清晰度无损图片压缩功能的实现代码
2018/12/09 PHP
js 浏览器事件介绍
2012/03/30 Javascript
动态的创建一个元素createElement及删除一个元素
2014/01/24 Javascript
Node.js模块加载详解
2014/08/16 Javascript
jQuery的观察者模式详解
2014/12/22 Javascript
浅谈JavaScript function函数种类
2014/12/29 Javascript
javascript实现动态加载CSS
2015/01/26 Javascript
利用Javascript实现BMI计算器
2016/08/16 Javascript
jQuery实现checkbox列表的全选、反选功能
2016/11/24 Javascript
浅析javascript中的Event事件
2016/12/09 Javascript
激动人心的 Angular HttpClient的源码解析
2017/07/10 Javascript
使用Vue开发一个实时性时间转换指令
2018/01/17 Javascript
vue里input根据value改变背景色的实例
2018/09/29 Javascript
写一个Vue Popup组件
2019/02/25 Javascript
jquery实现垂直无限轮播的方法分析
2019/07/16 jQuery
小程序分享链接onShareAppMessage的具体用法
2020/05/22 Javascript
详解Vue 数据更新了但页面没有更新的 7 种情况汇总及延伸总结
2020/05/28 Javascript
详解Python的Django框架中的通用视图
2015/05/04 Python
python ipset管理 增删白名单的方法
2019/01/14 Python
Opencv实现抠图背景图替换功能
2019/05/21 Python
Django使用中间件解决前后端同源策略问题
2019/09/02 Python
python扫描线填充算法详解
2020/02/19 Python
python读取当前目录下的CSV文件数据
2020/03/11 Python
Python 如何反方向迭代一个序列
2020/07/28 Python
CSS3 :default伪类选择器使用简介
2018/03/15 HTML / CSS
html5 横向滑动导航栏的方法示例
2020/05/08 HTML / CSS
专注澳大利亚特产和新西兰特产的澳洲中文网:0061澳洲制造
2019/03/24 全球购物
Math.round(11.5)等於多少? Math.round(-11.5)等於多少?
2015/01/27 面试题
党员承诺践诺书
2014/05/20 职场文书
安全教育主题班会教案
2015/08/12 职场文书
教师师德承诺书2016
2016/03/25 职场文书