在 Python 中利用 Pool 进行多线程


Posted in Python onApril 24, 2022

为什么要引入线程池

如果在程序中经常要用到线程,频繁的创建和销毁线程会浪费很多硬件资源,
所以需要把线程和任务分离。线程可以反复利用,省去了重复创建的麻烦。
在 Process 类中,我们必须显式地创建流程。但是,Pool 类更方便,您不必手动管理它。创建池对象的语法是 ​​multiprocessing.Pool(processes, initializer, initargs, maxtasksperchild, context)​​ 。所有参数都是可选的。

  • processes 表示您要创建的工作进程的数量。默认值通过 os.cpu_count() 获取。
  • initializer第二个初始化器参数是一个用于初始化的函数。
  • initargs 是传递给它的参数。
  • maxtasksperchild 表示分配给每个子进程的任务数。在完成该数量的任务之后,该进程将被一个新的工作进程替换。指定它的好处是任何未使用的资源都将被释放。如果未提供任何内容,则只要池存在,进程就会存在。
import time
from multiprocessing import Pool


def square(x):
print(f"start process:{x}")
square = x * x
print(f"square {x}:{square}")
time.sleep(1)
print(f"end process:{x}")


if __name__ == "__main__":
starttime = time.time()
pool = Pool()
pool.map(square, range(0, 5))
pool.close()
endtime = time.time()
print(f"Time taken {endtime-starttime} seconds")

结果为:

start process:0
start process:1
square 1:1
square 0:0
end process:1
start process:2
end process:0
start process:3
square 2:4
square 3:9
end process:3
end process:2
start process:4
square 4:16
end process:4
Time taken 3.0474610328674316 seconds

在这里,我们从多处理模块中导入 Pool 类。在主函数中,我们创建了一个 Pool 类的对象。 pool.map() 将我们想要并行化的函数和一个可迭代的函数作为参数。它在可迭代的每个项目上运行给定的函数。它还接受一个可选的 chunksize 参数,它将可迭代对象拆分为等于给定大小的块,并将每个块作为单独的任务传递。 pool.close() 用于拒绝新任务。
我们可以看到花费的时间大约是 3 秒。
​pool.imap()​​ 与 ​​pool.map()​​ 方法几乎相同。不同的是,每个项目的结果都是在准备好后立即收到的,而不是等待所有项目都完成。此外, ​​map()​​ 方法将可迭代对象转换为列表(如果不是)。但是, ​​imap()​​ 方法没有。

来看下一个例子:

import time
from multiprocessing import Pool


def square(x):
print(f"start process {x}")
square = x * x
time.sleep(1)
print(f"end process {x}")
return square


if __name__ == "__main__":
pool = Pool()
a = pool.map(square, range(0, 5))
print(a)

运行结果:

start process 0
start process 1
end process 0
start process 2
end process 1
start process 3
end process 2
start process 4
end process 3
end process 4
[0, 1, 4, 9, 16]

from concurrent.futures import ThreadPoolExecutor

def say_hello():
print("Hello")

executor = ThreadPoolExecutor(50)
for i in range(0, 10):
executor.submit(say_hello)

练习

利用 Python 多线程模拟商品秒杀过程,不可以出现超买和超卖的情况。假设A商品有50件参与秒杀活动,10分钟秒杀自动结束。

  • kill_total 商品总数
  • kill_num 成功抢购数
  • kill_flag 有效标志位
  • kill_user 成功抢购的用户ID
from redis_db import pool
import redis
import random
from concurrent.futures import ThreadPoolExecutor

s = set()
while True:
if len(s) == 1000:
break
num = random.randint(10000, 100000)
s.add(num)
print(s)

con = redis.Redis(
connection_pool=pool
)

try:
con.delete("kill_total", "kill_num", "kill_flag", "kill_user")
con.set("kill_total", 50)
con.set("kill_num", 0)
con.set("kill_flag", 1)
con.expire("kill_flag", 600)

except Exception as e:
print(e)
finally:
del con

executor = ThreadPoolExecutor(200)
def buy():
connection = redis.Redis(
connection_pool=pool
)
pipline = connection.pipline()
try:
if connection.exists("kill_flag") == 1:
pipline.watch("kill_num", "kill_user")
total = pipline.get("kill_total")
num = int(pipline.get("kill_num").decode("utf-8"))
if num < total:
pipline.multi()
pipline.incr("kill_num")
user_id = s.pop()
pipline.rpush("kill_user", user_id)

pipline.execute()
except Exception as e:
print(e)
finally:
if "pipline" in dir():
pipline.reset()
del connection

for i in range(0, 1000):
executor.submit(buy)
print("秒杀活动已经结束")

到此这篇关于在 Python 中利用Pool 进行多处理的文章就介绍到这了!


Tags in this post...

Python 相关文章推荐
详解Python爬虫的基本写法
Jan 08 Python
插入排序_Python与PHP的实现版(推荐)
May 11 Python
python 列表删除所有指定元素的方法
Apr 19 Python
Python3.7 新特性之dataclass装饰器
May 27 Python
python3.x+pyqt5实现主窗口状态栏里(嵌入)显示进度条功能
Jul 04 Python
python os.path.isfile 的使用误区详解
Nov 29 Python
Python多线程通信queue队列用法实例分析
Mar 24 Python
使用Python实现批量ping操作方法
May 06 Python
解析python 中/ 和 % 和 //(地板除)
Jun 28 Python
Python子进程subpocess原理及用法解析
Jul 16 Python
python实现批量移动文件
Apr 05 Python
Pytorch中使用ImageFolder读取数据集时忽略特定文件
Mar 23 Python
Python何绘制带有背景色块的折线图
python中Pyqt5使用Qlabel标签播放视频
Apr 22 #Python
Python使用MapReduce进行简单的销售统计
python使用pycharm安装pyqt5以及相关配置
Python使用DFA算法过滤内容敏感词
python游戏开发之pygame实现接球小游戏
Apr 22 #Python
python游戏开发Pygame框架
Apr 22 #Python
You might like
php使用PDO事务配合表格读取大量数据插入操作实现方法
2017/02/16 PHP
PHP new static 和 new self详解
2017/02/19 PHP
PHP使用XMLWriter读写xml文件操作详解
2018/07/31 PHP
如何在PHP中使用AES加密算法加密数据
2020/06/24 PHP
经常用到的JavasScript事件的翻译
2007/04/09 Javascript
Javascript 继承机制实例
2009/08/12 Javascript
学习面向对象之面向对象的基本概念:对象和其他基本要素
2010/11/30 Javascript
jCallout 轻松实现气泡提示功能
2013/09/22 Javascript
js创建对象的方法汇总
2016/01/07 Javascript
你不需要jQuery(三) 新AJAX方法fetch()
2016/06/14 Javascript
AngularJS基础 ng-mousemove 指令简单示例
2016/08/02 Javascript
轻松掌握JavaScript状态模式
2016/09/07 Javascript
Vue.js展示AJAX数据简单示例讲解
2017/03/29 Javascript
微信小程序从注册账号到上架(图文详解)
2019/07/17 Javascript
微信小程序实现pdf、word等格式文件上传的方法
2019/09/10 Javascript
Electron实现应用打包、自动升级过程解析
2020/07/07 Javascript
Vue点击切换Class变化,实现Active当前样式操作
2020/07/17 Javascript
Vue proxyTable配置多个接口地址,解决跨域的问题
2020/09/11 Javascript
详解Python中time()方法的使用的教程
2015/05/22 Python
python使用paramiko实现远程拷贝文件的方法
2016/04/18 Python
Python3.7中安装openCV库的方法
2018/07/11 Python
flask中的wtforms使用方法
2018/07/21 Python
使用PM2+nginx部署python项目的方法示例
2018/11/07 Python
python实现美团订单推送到测试环境,提供便利操作示例
2019/08/09 Python
Python解释器及PyCharm工具安装过程
2020/02/26 Python
python3用urllib抓取贴吧邮箱和QQ实例
2020/03/10 Python
Django ORM实现按天获取数据去重求和例子
2020/05/18 Python
耐克美国官网:Nike.com
2016/08/01 全球购物
高中的职业生涯规划书
2013/12/28 职场文书
《满井游记》教学反思
2014/02/26 职场文书
文化宣传方案
2014/03/13 职场文书
个人承诺书怎么写
2014/05/24 职场文书
农贸批发市场管理制度
2015/08/07 职场文书
六年级作文之预言作文
2019/10/25 职场文书
python如何获取网络数据
2021/04/11 Python
Tomcat执行startup.bat出现闪退的原因及解决办法
2022/04/20 Servers