python使用多线程查询数据库的实现示例


Posted in Python onAugust 17, 2020

一.背景:

         当数据量过大时,一个程序的执行时间就会主要花费在等待单次查询返回结果,在这个过程中cpu无疑是处于等待io的空闲状态的,这样既浪费了cpu资源,又花费了大量时间(当然这里主要说多线程,批量查询不在考虑范围,总会存在不能批量查询的情况),在这种非密集型运算(及大量占用cpu资源)的情况下在python中无疑运用多线程是一个非常棒的选择。

二.知识点:

        数据库连接池的运用及优势,python中多线程的运用,队列的运用

        数据库连接池:限制了数据库的连接最大个数,每次连接都是可以重复使用的,当然也可以限制每个连接的重复使用次数(这个在这里是没必要的),需要注意的是设置的数据库的最大连接个数最好要大于我们自己开的最大线程个数,一般逻辑是每个线程占用一个数据库连接可以使程序达到最大速度,如果小于则可能存在同时连接个数大于数据库允许的最大连接个数的风险。使用数据库连接池的优势在于,python多线程并发操作数据库,会存在链接数据库超时、数据库连接丢失、数据库操作超时等问题,而数据库连接池提供线程间可共享的数据库连接,并自动管理连接。

       python多线程:在程序等待io的时间里调用多线程去数据库执行查询操作。

       队列:这个就是数据结构里面的知识了,一般队列的常用模式先进先出队列。(这里主要用的是队列取一个数就少一个数的原理,其实用列表也可以实现,他的先进先出主要强调的是一个顺序关系,这一点到没用上,就当是练练手了)

三.两段代码作比较:

数据库的截图:

python使用多线程查询数据库的实现示例

第一段代码:正常循环查询并打印出执行时间

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool


start = time.time()
pool = mysql_connection()

for id in range(50):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)

end = time.time() - start
print(end)

执行结果:

python使用多线程查询数据库的实现示例

第二段代码:限制数据库连接池最大15个连接,用队列限制最大线程个数为10个

#!/usr/bin/python
# -*- coding=utf-8 -*-
import time
import threading
import MySQLdb
import Queue
from MySQLdb.cursors import DictCursor
from DBUtils.PooledDB import PooledDB

def mysql_connection():
  host = 'localhost'
  user = 'root'
  port = 3306
  password = '123456'
  db = 'test'
  charset = 'utf8'
  limit_count = 3 # 最低预启动数据库连接数量
  pool = PooledDB(MySQLdb, limit_count, maxconnections=15, host=host, user=user, port=port, passwd=password, db=db, charset=charset,
      use_unicode=True, cursorclass=DictCursor)
  return pool

def tread_connection_db(id):
  con = pool.connection()
  cur = con.cursor()
  sql = '''select id,name,age,weight from test where id = %s '''%id
  cur.execute(sql)
  time.sleep(0.5)
  result = cur.fetchall()
  if result:
    print('this is tread %s (%s,%s,%s,%s)'%(id,result[0]['id'],result[0]['name'],result[0]['age'],result[0]['weight']))
  else:
    print('this tread %s result is none'%id)
  con.close()


if __name__=='__main__':
  start = time.time()
  #创建线程连接池,最大限制15个连接
  pool = mysql_connection()
  #创建队列,队列的最大个数及限制线程个数
  q=Queue.Queue(maxsize=10)
  #测试数据,多线程查询数据库
  for id in range(50):
    #创建线程并放入队列中
    t = threading.Thread(target=tread_connection_db, args=(id,))
    q.put(t)
    #队列队满
    if q.qsize()==10:
      #用于记录线程,便于终止线程
      join_thread = []
      #从对列取出线程并开始线程,直到队列为空
      while q.empty()!=True:
        t = q.get()
        join_thread.append(t)
        t.start()
      #终止上一次队满时里面的所有线程
      for t in join_thread:
        t.join()
  end = time.time() - start
  print(end)

程序备注应该还算比较清晰的哈,程序执行结果:

python使用多线程查询数据库的实现示例

四.结论:

看结果说话

到此这篇关于python使用多线程查询数据库的实现示例的文章就介绍到这了,更多相关python 多线程查询数据库内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python SQLite3数据库操作类分享
Jun 10 Python
Python爬取Coursera课程资源的详细过程
Nov 04 Python
Python脚本简单实现打开默认浏览器登录人人和打开QQ的方法
Apr 12 Python
简单实现python进度条脚本
Dec 18 Python
浅谈django orm 优化
Aug 18 Python
python爬虫解决验证码的思路及示例
Aug 01 Python
Python实现将蓝底照片转化为白底照片功能完整实例
Dec 13 Python
python中对二维列表中一维列表的调用方法
Jun 07 Python
python爬虫数据保存到mongoDB的实例方法
Jul 28 Python
Python3以GitHub为例来实现模拟登录和爬取的实例讲解
Jul 30 Python
python关于倒排列的知识点总结
Oct 13 Python
python数字图像处理:图像简单滤波
Jun 28 Python
python使用建议与技巧分享(一)
Aug 17 #Python
Python2.6版本pip安装步骤解析
Aug 17 #Python
python中pathlib模块的基本用法与总结
Aug 17 #Python
Pycharm无法打开双击没反应的问题及解决方案
Aug 17 #Python
详解python datetime模块
Aug 17 #Python
python实现梯度下降算法的实例详解
Aug 17 #Python
python3.5的包存放的具体路径
Aug 16 #Python
You might like
一个很不错的PHP翻页类
2009/06/01 PHP
php入门学习知识点一 PHP与MYSql连接与查询
2011/07/14 PHP
php面试实现反射注入的详细方法
2019/09/30 PHP
javascript下IE与FF兼容函数收集
2008/09/17 Javascript
Jquery Autocomplete 结合asp.net使用要点
2010/10/29 Javascript
让页面上两个div中的滚动条(滑块)同步运动示例
2013/08/07 Javascript
javascript修改IMG标签的src问题
2014/03/28 Javascript
IE浏览器IFrame对象内存不释放问题解决方法
2014/08/22 Javascript
JQuery显示隐藏DIV的方法及代码实例
2015/04/16 Javascript
JavaScript实现输入框与清空按钮联动效果
2016/09/09 Javascript
Angular.js与node.js项目里用cookie校验账户登录详解
2017/02/22 Javascript
JS+WCF实现进度条实时监测数据加载量的方法详解
2017/12/19 Javascript
Angular如何在应用初始化时运行代码详解
2018/06/11 Javascript
JS高级技巧(简洁版)
2018/07/29 Javascript
vue-cli 3.x 修改dist路径的方法
2018/09/19 Javascript
简单实现vue中的依赖收集与响应的方法
2019/02/18 Javascript
js+css实现扇形导航效果
2020/08/18 Javascript
使用python实现baidu hi自动登录的代码
2013/02/10 Python
python中的列表推导浅析
2014/04/26 Python
Numpy 将二维图像矩阵转换为一维向量的方法
2018/06/05 Python
python使用tcp实现局域网内文件传输
2020/03/20 Python
python批量赋值操作实例
2018/10/22 Python
Django中信号signals的简单使用方法
2019/07/04 Python
python检测服务器端口代码实例
2019/08/31 Python
Python操作Sqlite正确实现方法解析
2020/02/05 Python
Django模型验证器介绍与源码分析
2020/09/08 Python
英国领先的在线旅游和休闲零售商:lastminute.com
2019/01/23 全球购物
Delphi工程师笔试题
2013/09/21 面试题
中专生自我鉴定范文
2014/02/02 职场文书
人事专员岗位职责范本
2014/03/04 职场文书
数学教研活动总结
2014/07/02 职场文书
2014年艾滋病防治工作总结
2014/12/10 职场文书
写给消防战士们的一封慰问信
2019/10/07 职场文书
django如何自定义manage.py管理命令
2021/04/27 Python
Django cookie和session的应用场景及如何使用
2021/04/29 Python
mysql如何配置白名单访问
2021/06/30 MySQL