Python 如何创建一个线程池


Posted in Python onJuly 28, 2020

问题

你创建一个工作者线程池,用来响应客户端请求或执行其他的工作。

解决方案

concurrent.futures 函数库有一个 ThreadPoolExecutor 类可以被用来完成这个任务。 下面是一个简单的TCP服务器,使用了一个线程池来响应客户端:

from socket import AF_INET, SOCK_STREAM, socket
from concurrent.futures import ThreadPoolExecutor

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr):
  pool = ThreadPoolExecutor(128)
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    pool.submit(echo_client, client_sock, client_addr)

echo_server(('',15000))

如果你想手动创建你自己的线程池, 通常可以使用一个Queue来轻松实现。下面是一个稍微不同但是手动实现的例子:

from socket import socket, AF_INET, SOCK_STREAM
from threading import Thread
from queue import Queue

def echo_client(q):
  '''
  Handle a client connection
  '''
  sock, client_addr = q.get()
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')

  sock.close()

def echo_server(addr, nworkers):
  # Launch the client workers
  q = Queue()
  for n in range(nworkers):
    t = Thread(target=echo_client, args=(q,))
    t.daemon = True
    t.start()

  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    q.put((client_sock, client_addr))

echo_server(('',15000), 128)

使用 ThreadPoolExecutor 相对于手动实现的一个好处在于它使得 任务提交者更方便的从被调用函数中获取返回值。例如,你可能会像下面这样写:

from concurrent.futures import ThreadPoolExecutor
import urllib.request

def fetch_url(url):
  u = urllib.request.urlopen(url)
  data = u.read()
  return data

pool = ThreadPoolExecutor(10)
# Submit work to the pool
a = pool.submit(fetch_url, 'http://www.python.org')
b = pool.submit(fetch_url, 'http://www.pypy.org')

# Get the results back
x = a.result()
y = b.result()

例子中返回的handle对象会帮你处理所有的阻塞与协作,然后从工作线程中返回数据给你。 特别的,a.result() 操作会阻塞进程直到对应的函数执行完成并返回一个结果。

讨论

通常来讲,你应该避免编写线程数量可以无限制增长的程序。例如,看看下面这个服务器:

from threading import Thread
from socket import socket, AF_INET, SOCK_STREAM

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr, nworkers):
  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    t = Thread(target=echo_client, args=(client_sock, client_addr))
    t.daemon = True
    t.start()

echo_server(('',15000))

尽管这个也可以工作, 但是它不能抵御有人试图通过创建大量线程让你服务器资源枯竭而崩溃的攻击行为。 通过使用预先初始化的线程池,你可以设置同时运行线程的上限数量。

你可能会关心创建大量线程会有什么后果。 现代操作系统可以很轻松的创建几千个线程的线程池。 甚至,同时几千个线程等待工作并不会对其他代码产生性能影响。 当然了,如果所有线程同时被唤醒并立即在CPU上执行,那就不同了——特别是有了全局解释器锁GIL。 通常,你应该只在I/O处理相关代码中使用线程池。

创建大的线程池的一个可能需要关注的问题是内存的使用。 例如,如果你在OS X系统上面创建2000个线程,系统显示Python进程使用了超过9GB的虚拟内存。 不过,这个计算通常是有误差的。当创建一个线程时,操作系统会预留一个虚拟内存区域来 放置线程的执行栈(通常是8MB大小)。但是这个内存只有一小片段被实际映射到真实内存中。 因此,Python进程使用到的真实内存其实很小 (比如,对于2000个线程来讲,只使用到了70MB的真实内存,而不是9GB)。 如果你担心虚拟内存大小,可以使用 threading.stack_size() 函数来降低它。例如:

import threading
threading.stack_size(65536)

如果你加上这条语句并再次运行前面的创建2000个线程试验, 你会发现Python进程只使用到了大概210MB的虚拟内存,而真实内存使用量没有变。 注意线程栈大小必须至少为32768字节,通常是系统内存页大小(4096、8192等)的整数倍。

以上就是Python 如何创建一个线程池的详细内容,更多关于Python 创建线程池的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python发送邮件示例(支持中文邮件标题)
Feb 16 Python
Python深入学习之特殊方法与多范式
Aug 31 Python
python执行get提交的方法
Apr 29 Python
Python实现简单HTML表格解析的方法
Jun 15 Python
python操作redis的方法
Jul 07 Python
python操作字典类型的常用方法(推荐)
May 16 Python
django实现同一个ip十分钟内只能注册一次的实例
Nov 03 Python
Python编程实现从字典中提取子集的方法分析
Feb 09 Python
python实现远程通过网络邮件控制计算机重启或关机
Feb 22 Python
opencv实现图片模糊和锐化操作
Nov 19 Python
利用Python脚本批量生成SQL语句
Mar 04 Python
发工资啦!教你用Python实现邮箱自动群发工资条
May 10 Python
matplotlib subplot绘制多个子图的方法示例
Jul 28 #Python
python爬虫用mongodb的理由
Jul 28 #Python
python爬虫数据保存到mongoDB的实例方法
Jul 28 #Python
Python3爬虫带上cookie的实例代码
Jul 28 #Python
python实现批处理文件
Jul 28 #Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
Jul 28 #Python
python爬虫请求头设置代码
Jul 28 #Python
You might like
Php中使用Select 查询语句的实例
2014/02/19 PHP
PHP实现数字补零功能的2个函数介绍
2014/05/12 PHP
ThinkPHP3.1基础知识快速入门
2014/06/19 PHP
smarty模板引擎基础知识入门
2015/03/30 PHP
PHP二分查找算法示例【递归与非递归方法】
2016/09/29 PHP
javascript数组操作方法小结和3个属性详细介绍
2014/07/05 Javascript
window.onload绑定多个事件的两种解决方案
2016/05/15 Javascript
动态设置form表单的action属性的值的简单方法
2016/05/25 Javascript
JS及PHP代码编写八大排序算法
2016/07/12 Javascript
plupload+artdialog实现多平台上传文件
2016/07/19 Javascript
深入浅析JS是按值传递还是按引用传递(推荐)
2016/09/18 Javascript
微信小程序 支付功能实现PHP实例详解
2017/05/12 Javascript
我要点爆”微信小程序云开发之项目建立与我的页面功能实现
2019/05/26 Javascript
JavaScript实现电灯开关小案例
2020/03/30 Javascript
ES6 Generator基本使用方法示例
2020/06/06 Javascript
在vue中使用Base64转码的案例
2020/08/07 Javascript
Vue-cli assets SubDirectory及PublicPath区别详解
2020/08/18 Javascript
简单谈谈python中的多进程
2016/11/06 Python
python 反编译exe文件为py文件的实例代码
2019/06/27 Python
Python 实现opencv所使用的图片格式与 base64 转换
2020/01/09 Python
Python图像处理库PIL的ImageGrab模块介绍详解
2020/02/26 Python
PyTorch: Softmax多分类实战操作
2020/07/07 Python
如何使用Pytorch搭建模型
2020/10/26 Python
python 数据类型强制转换的总结
2021/01/25 Python
CSS3绘制六边形的简单实现
2016/08/25 HTML / CSS
美国百年历史早餐食品供应商:Wolferman’s
2017/01/18 全球购物
举例说明类变量和实例变量的区别
2016/06/30 面试题
主治医师岗位职责
2013/12/10 职场文书
合作意向书范本
2014/03/31 职场文书
个人自荐材料
2014/05/23 职场文书
师德师风个人总结
2015/02/06 职场文书
2015年科研工作总结范文
2015/05/13 职场文书
务工证明怎么写
2015/06/18 职场文书
2015年教师节主持词
2015/07/03 职场文书
Java基于Dijkstra算法实现校园导游程序
2022/03/17 Java/Android
MYSQL中文乱码问题的解决方案
2022/06/14 MySQL