Python 如何创建一个线程池


Posted in Python onJuly 28, 2020

问题

你创建一个工作者线程池,用来响应客户端请求或执行其他的工作。

解决方案

concurrent.futures 函数库有一个 ThreadPoolExecutor 类可以被用来完成这个任务。 下面是一个简单的TCP服务器,使用了一个线程池来响应客户端:

from socket import AF_INET, SOCK_STREAM, socket
from concurrent.futures import ThreadPoolExecutor

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr):
  pool = ThreadPoolExecutor(128)
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    pool.submit(echo_client, client_sock, client_addr)

echo_server(('',15000))

如果你想手动创建你自己的线程池, 通常可以使用一个Queue来轻松实现。下面是一个稍微不同但是手动实现的例子:

from socket import socket, AF_INET, SOCK_STREAM
from threading import Thread
from queue import Queue

def echo_client(q):
  '''
  Handle a client connection
  '''
  sock, client_addr = q.get()
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')

  sock.close()

def echo_server(addr, nworkers):
  # Launch the client workers
  q = Queue()
  for n in range(nworkers):
    t = Thread(target=echo_client, args=(q,))
    t.daemon = True
    t.start()

  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    q.put((client_sock, client_addr))

echo_server(('',15000), 128)

使用 ThreadPoolExecutor 相对于手动实现的一个好处在于它使得 任务提交者更方便的从被调用函数中获取返回值。例如,你可能会像下面这样写:

from concurrent.futures import ThreadPoolExecutor
import urllib.request

def fetch_url(url):
  u = urllib.request.urlopen(url)
  data = u.read()
  return data

pool = ThreadPoolExecutor(10)
# Submit work to the pool
a = pool.submit(fetch_url, 'http://www.python.org')
b = pool.submit(fetch_url, 'http://www.pypy.org')

# Get the results back
x = a.result()
y = b.result()

例子中返回的handle对象会帮你处理所有的阻塞与协作,然后从工作线程中返回数据给你。 特别的,a.result() 操作会阻塞进程直到对应的函数执行完成并返回一个结果。

讨论

通常来讲,你应该避免编写线程数量可以无限制增长的程序。例如,看看下面这个服务器:

from threading import Thread
from socket import socket, AF_INET, SOCK_STREAM

def echo_client(sock, client_addr):
  '''
  Handle a client connection
  '''
  print('Got connection from', client_addr)
  while True:
    msg = sock.recv(65536)
    if not msg:
      break
    sock.sendall(msg)
  print('Client closed connection')
  sock.close()

def echo_server(addr, nworkers):
  # Run the server
  sock = socket(AF_INET, SOCK_STREAM)
  sock.bind(addr)
  sock.listen(5)
  while True:
    client_sock, client_addr = sock.accept()
    t = Thread(target=echo_client, args=(client_sock, client_addr))
    t.daemon = True
    t.start()

echo_server(('',15000))

尽管这个也可以工作, 但是它不能抵御有人试图通过创建大量线程让你服务器资源枯竭而崩溃的攻击行为。 通过使用预先初始化的线程池,你可以设置同时运行线程的上限数量。

你可能会关心创建大量线程会有什么后果。 现代操作系统可以很轻松的创建几千个线程的线程池。 甚至,同时几千个线程等待工作并不会对其他代码产生性能影响。 当然了,如果所有线程同时被唤醒并立即在CPU上执行,那就不同了——特别是有了全局解释器锁GIL。 通常,你应该只在I/O处理相关代码中使用线程池。

创建大的线程池的一个可能需要关注的问题是内存的使用。 例如,如果你在OS X系统上面创建2000个线程,系统显示Python进程使用了超过9GB的虚拟内存。 不过,这个计算通常是有误差的。当创建一个线程时,操作系统会预留一个虚拟内存区域来 放置线程的执行栈(通常是8MB大小)。但是这个内存只有一小片段被实际映射到真实内存中。 因此,Python进程使用到的真实内存其实很小 (比如,对于2000个线程来讲,只使用到了70MB的真实内存,而不是9GB)。 如果你担心虚拟内存大小,可以使用 threading.stack_size() 函数来降低它。例如:

import threading
threading.stack_size(65536)

如果你加上这条语句并再次运行前面的创建2000个线程试验, 你会发现Python进程只使用到了大概210MB的虚拟内存,而真实内存使用量没有变。 注意线程栈大小必须至少为32768字节,通常是系统内存页大小(4096、8192等)的整数倍。

以上就是Python 如何创建一个线程池的详细内容,更多关于Python 创建线程池的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现杨辉三角思路
Jul 14 Python
Python基于time模块求程序运行时间的方法
Sep 18 Python
Python 实现Windows开机运行某软件的方法
Oct 14 Python
pandas筛选某列出现编码错误的解决方法
Nov 07 Python
为什么Python中没有"a++"这种写法
Nov 27 Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 Python
详解用python写网络爬虫-爬取新浪微博评论
May 10 Python
python flask web服务实现更换默认端口和IP的方法
Jul 26 Python
Python中模块(Module)和包(Package)的区别详解
Aug 07 Python
python中count函数简单用法
Jan 05 Python
python实现飞机大战游戏(pygame版)
Oct 26 Python
如何用python爬取微博热搜数据并保存
Feb 20 Python
matplotlib subplot绘制多个子图的方法示例
Jul 28 #Python
python爬虫用mongodb的理由
Jul 28 #Python
python爬虫数据保存到mongoDB的实例方法
Jul 28 #Python
Python3爬虫带上cookie的实例代码
Jul 28 #Python
python实现批处理文件
Jul 28 #Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
Jul 28 #Python
python爬虫请求头设置代码
Jul 28 #Python
You might like
深入解析yii权限分级式访问控制的实现(非RBAC法)
2013/06/13 PHP
PHP临时文件的安全性分析
2014/07/04 PHP
Linux中为php配置伪静态
2014/12/17 PHP
php简单实现多字节字符串翻转的方法
2015/03/31 PHP
PHP中子类重载父类的方法【parent::方法名】
2016/05/06 PHP
PHP实现动态创建XML文档的方法
2018/03/30 PHP
jquery插件制作 表单验证实现代码
2012/08/17 Javascript
js限制文本框只能输入整数或者带小数点的数字
2015/04/27 Javascript
js实现商品抛物线加入购物车特效
2020/11/18 Javascript
jquery css实现邮箱自动补全
2016/11/14 Javascript
js仿淘宝评价评分功能
2017/02/28 Javascript
Bootstrap学习笔记之进度条、媒体对象实例详解
2017/03/09 Javascript
原生JS与jQuery编写简单选项卡
2017/10/30 jQuery
vue 中filter的多种用法
2018/04/26 Javascript
vue计算属性get和set用法示例
2019/02/08 Javascript
JavaScript判断对象和数组的两种方法
2019/05/31 Javascript
优雅的处理vue项目异常实战记录
2019/06/05 Javascript
基于node+vue实现简单的WebSocket聊天功能
2020/02/01 Javascript
Python中获取对象信息的方法
2015/04/27 Python
Python 迭代器工具包【推荐】
2016/05/06 Python
Python计算时间间隔(精确到微妙)的代码实例
2019/02/26 Python
Python并发请求下限制QPS(每秒查询率)的实现代码
2020/06/05 Python
python中如何使用虚拟环境
2020/10/14 Python
浅析HTML5页面元素及属性
2021/01/20 HTML / CSS
Clarks鞋法国官方网站:英国其乐鞋品牌
2018/02/11 全球购物
洲际酒店集团英国官网:IHG英国
2019/07/10 全球购物
美国尼曼百货官网:Neiman Marcus
2019/09/05 全球购物
如何估计一张表的大小(假设该表中有1万条数据)
2016/03/27 面试题
华三通信H3C面试题
2015/05/15 面试题
几个Shell Script面试题
2012/08/31 面试题
最新茶叶店创业计划书
2014/01/14 职场文书
简洁的英文求职信范文
2014/05/03 职场文书
个人安全承诺书
2014/05/22 职场文书
幼儿园老师个人总结
2015/02/28 职场文书
民事撤诉申请书范本
2015/05/18 职场文书
死磕 java同步系列之synchronized解析
2021/06/28 Java/Android