python使用多线程查询数据库的实现示例


Posted in Python onAugust 17, 2020

一.背景:

         当数据量过大时,一个程序的执行时间就会主要花费在等待单次查询返回结果,在这个过程中cpu无疑是处于等待io的空闲状态的,这样既浪费了cpu资源,又花费了大量时间(当然这里主要说多线程,批量查询不在考虑范围,总会存在不能批量查询的情况),在这种非密集型运算(及大量占用cpu资源)的情况下在python中无疑运用多线程是一个非常棒的选择。

二.知识点:

        数据库连接池的运用及优势,python中多线程的运用,队列的运用

        数据库连接池:限制了数据库的连接最大个数,每次连接都是可以重复使用的,当然也可以限制每个连接的重复使用次数(这个在这里是没必要的),需要注意的是设置的数据库的最大连接个数最好要大于我们自己开的最大线程个数,一般逻辑是每个线程占用一个数据库连接可以使程序达到最大速度,如果小于则可能存在同时连接个数大于数据库允许的最大连接个数的风险。使用数据库连接池的优势在于,python多线程并发操作数据库,会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题,而数据库连接池提供线程间可共享的数据库连接,并自动管理连接。

       python多线程:在程序等待io的时间里调用多线程去数据库执行查询操作。

       队列:这个就是数据结构里面的知识了,一般队列的常用模式先进先出队列。(这里主要用的是队列取一个数就少一个数的原理,其实用列表也可以实现,他的先进先出主要强调的是一个顺序关系,这一点到没用上,就当是练练手了)

三.两段代码作比较:

数据库的截图:

python使用多线程查询数据库的实现示例

第一段代码:正常循环查询并打印出执行时间

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool


start = time.time()
pool = mysql_connection()

for id in range(50):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)

end = time.time() - start
print(end)

执行结果:

python使用多线程查询数据库的实现示例

第二段代码:限制数据库连接池最大15个连接,用队列限制最大线程个数为10个

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool

def tread_connection_db(id):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)
  con.close()


if __name__=='__main__':
  start = time.time()
  #创建线程连接池,最大限制15个连接
  pool = mysql_connection()
  #创建队列,队列的最大个数及限制线程个数
  q=Queue.Queue(maxsize=10)
  #测试数据,多线程查询数据库
  for id in range(50):
    #创建线程并放入队列中
    t = threading.Thread(target=tread_connection_db, args=(id,))
    q.put(t)
    #队列队满
    if q.qsize()==10:
      #用于记录线程,便于终止线程
      join_thread = []
      #从对列取出线程并开始线程,直到队列为空
      while q.empty()!=True:
        t = q.get()
        join_thread.append(t)
        t.start()
      #终止上一次队满时里面的所有线程
      for t in join_thread:
        t.join()
  end = time.time() - start
  print(end)

程序备注应该还算比较清晰的哈,程序执行结果:

python使用多线程查询数据库的实现示例

四.结论:

看结果说话

到此这篇关于python使用多线程查询数据库的实现示例的文章就介绍到这了,更多相关python 多线程查询数据库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
编写同时兼容Python2.x与Python3.x版本的代码的几个示例
Mar 30 Python
python通过openpyxl生成Excel文件的方法
May 12 Python
详解Python中expandtabs()方法的使用
May 18 Python
详解Python的Django框架中Manager方法的使用
Jul 21 Python
Python爬虫之模拟知乎登录的方法教程
May 25 Python
python、java等哪一门编程语言适合人工智能?
Nov 13 Python
JSONLINT:python的json数据验证库实例解析
Nov 28 Python
使用批处理脚本自动生成并上传NuGet包(操作方法)
Nov 19 Python
基于Python+QT的gui程序开发实现
Jul 03 Python
python如何修改文件时间属性
Feb 05 Python
python实现求纯色彩图像的边框
Apr 08 Python
Opencv中cv2.floodFill算法的使用
Jun 18 Python
python使用建议与技巧分享(一)
Aug 17 #Python
Python2.6版本pip安装步骤解析
Aug 17 #Python
python中pathlib模块的基本用法与总结
Aug 17 #Python
Pycharm无法打开双击没反应的问题及解决方案
Aug 17 #Python
详解python datetime模块
Aug 17 #Python
python实现梯度下降算法的实例详解
Aug 17 #Python
python3.5的包存放的具体路径
Aug 16 #Python
You might like
简体中文转换为繁体中文的PHP函数
2006/10/09 PHP
PHP自动生成表单代码分享
2015/06/19 PHP
PHP实现留言板功能的详细代码
2017/03/25 PHP
php设计模式之观察者模式定义与用法经典示例
2019/09/19 PHP
jQuery.ajax 用户登录验证代码
2010/10/29 Javascript
JavaScript中的this关键字介绍与使用实例
2013/06/21 Javascript
jQuery 获取兄弟元素的几种不错方法
2014/05/23 Javascript
javascript实时显示当天日期的方法
2015/05/20 Javascript
js自定义回调函数
2015/12/13 Javascript
jQuery 限制输入字符串长度
2016/06/20 Javascript
node.js版本管理工具n无效的原理和解决方法
2016/11/24 Javascript
js正则表达式最长匹配(贪婪匹配)和最短匹配(懒惰匹配)用法分析
2016/12/27 Javascript
vue开发调试神器vue-devtools使用详解
2017/07/13 Javascript
jQuery中库的引用方法
2018/01/06 jQuery
基于Node.js搭建hexo博客过程详解
2019/06/25 Javascript
JavaScript检测是否开启了控制台(F12调试工具)
2020/10/02 Javascript
Python3里的super()和__class__使用介绍
2015/04/23 Python
Python下rrdtool模块的基本使用方法
2015/11/13 Python
python中解析json格式文件的方法示例
2017/05/03 Python
python交互模式下输入换行/输入多行命令的方法
2019/07/02 Python
python单向链表的基本实现与使用方法【定义、遍历、添加、删除、查找等】
2019/10/24 Python
Python关于__name__属性的含义和作用详解
2020/02/19 Python
Bootstrap 学习分享
2012/11/12 HTML / CSS
State Cashmere官网:半零售价可持续蒙古羊绒
2020/02/26 全球购物
Whistles官网:英国女装品牌
2020/08/14 全球购物
利用指针变量实现队列的入队操作
2012/04/07 面试题
给导游的表扬信
2014/01/10 职场文书
婚礼新郎父母答谢词
2014/01/16 职场文书
少年闰土教学反思
2014/02/22 职场文书
小摄影师教学反思
2014/04/27 职场文书
精神文明建设先进工作者事迹材料
2014/05/02 职场文书
教师党的群众路线对照检查材料
2014/09/24 职场文书
幼儿园万圣节活动总结
2015/05/05 职场文书
2016年学校安全教育月活动总结
2016/04/06 职场文书
合理缓解职场压力,让你随时保持最佳状态!
2019/06/21 职场文书
MySQL数据库查询进阶之多表查询详解
2022/04/08 MySQL