协程Python 中实现多任务耗资源最小的方式


Posted in Python onOctober 19, 2020

协程,又称微线程,纤程。英文名 Coroutine。

协程是 Python 中另外一种实现多任务的方式,只不过比线程更小,占用更小执行单元(理解为需要的资源)。

为啥说它是一个执行单元,因为它自带 CPU 上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。

协程和线程差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。

操作系统为了程序运行的高效性每个线程都有自己缓存 Cache 等等数据,操作系统还会帮你做这些数据的恢复操作,所以线程的切换非常耗性能。

但是协程的切换只是单纯的操作 CPU 的上下文,所以一秒钟切换个上百万次系统都抗得住。

之前我们讲过 yield 关键字,现在就用它来实现多任务。

例子:

import time

def task_1():
  while True:
    print("--1--")
    time.sleep(0.5)
    yield

def task_2():
  while True:
    print("--2--")
    time.sleep(0.5)
    yield

def main():
  t1 = task_1()
  t2 = task_2()
  while True:
    next(t1)
    next(t2)

if __name__ == "__main__":
  main()

运行过程:

先让 t1 运行一会,当 t1 遇到 yield 的时候,再返回到 main() 循环的地方,然后执行 t2 , 当它遇到 yield 的时候,再次切换到 t1 中,这样 t1 和 t2 就交替运行,最终实现了多任务,协程。

运行结果:

协程Python 中实现多任务耗资源最小的方式

greenlet

为了更好使用协程来完成多任务,Python 中的 greenlet 模块对其封装,从而使得切换任务变的更加简单。

首先你要安装一下 greenlet 模块。

pip3 install greenlet
from greenlet import greenlet
import time

def test1():
  while True:
    print("---A--")
    gr2.switch()
    time.sleep(0.5)

def test2():
  while True:
    print("---B--")
    gr1.switch()
    time.sleep(0.5)

gr1 = greenlet(test1)
gr2 = greenlet(test2)

# 切换到gr1中运行
gr1.switch()

运行结果:

协程Python 中实现多任务耗资源最小的方式

和我们之前用 yield 实现的效果基本一样,greenlet 其实是对 yield 进行了简单的封装。

greenlet 实现多任务要比 yield 更简单,但是我们以后还是不用它。

上面例子中的延时是0.5秒,如果延迟是100秒,那么程序就会卡住100秒,就算有其他需要执行的任务,系统也不会切换过去,这100秒的时间是无法利用的。

这个问题下面来解决。

gevent

greenlet 已经实现了协程,但是还是得进行人工切换,是不是觉得太麻烦了。

Python 还有一个比 greenlet 更强大的并且能够自动切换任务的模块 gevent。

gevent 是对 greenlet 的再次封装。

其原理是当一个 greenlet 遇到 IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的 greenlet,等到 IO 操作完成,再在适当的时候切换回来继续执行。

由于 IO 操作非常耗时,经常使程序处于等待状态,有了gevent 为我们自动切换协程,就保证总有 greenlet 在运行,而不是等待 IO。

首先还是得先安装 gevent。

pip3 install gevent

例子:

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

运行结果:

<Greenlet at 0x35aae40: f(3)> 0
<Greenlet at 0x35aae40: f(3)> 1
<Greenlet at 0x35aae40: f(3)> 2
<Greenlet at 0x374a780: f(3)> 0
<Greenlet at 0x374a780: f(3)> 1
<Greenlet at 0x374a780: f(3)> 2
<Greenlet at 0x374a810: f(3)> 0
<Greenlet at 0x374a810: f(3)> 1
<Greenlet at 0x374a810: f(3)> 2

可以看到,3个 greenlet 是依次运行而不是交替运行。

这还无法判断 gevent 是否实现了多任务的效果,最好的判断情况是在运行结果中 0 1 2 不按顺序出现。

在 gevent 的概念中,我们提到 gevent 在遇到延时的时候会自动切换任务。

那么,我们先给上面的例子添加延时,再看效果。

import gevent
import time

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

运行结果:

<Greenlet at 0x36aae40: f(3)> 0
<Greenlet at 0x36aae40: f(3)> 1
<Greenlet at 0x36aae40: f(3)> 2
<Greenlet at 0x384a780: f(3)> 0
<Greenlet at 0x384a780: f(3)> 1
<Greenlet at 0x384a780: f(3)> 2
<Greenlet at 0x384a810: f(3)> 0
<Greenlet at 0x384a810: f(3)> 1
<Greenlet at 0x384a810: f(3)> 2

在添加了延时之后,运行结果并没有改变。

其实,gevent 要的不是 time.sleep() 的延时,而是 gevent.sleep() 的延时。

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

join 还有一种更简单的写法。

import time
import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

gevent.joinall([
  gevent.spawn(f, 3),
  gevent.spawn(f, 3),
  gevent.spawn(f, 3)
])

一般都是后面的这种写法。

运行结果:

<Greenlet at 0x2e5ae40: f(3)> 0
<Greenlet at 0x2ffa780: f(3)> 0
<Greenlet at 0x2ffa810: f(3)> 0
<Greenlet at 0x2e5ae40: f(3)> 1
<Greenlet at 0x2ffa780: f(3)> 1
<Greenlet at 0x2ffa810: f(3)> 1
<Greenlet at 0x2e5ae40: f(3)> 2
<Greenlet at 0x2ffa780: f(3)> 2
<Greenlet at 0x2ffa810: f(3)> 2

这下终于实现多任务的效果了, gevent 在遇到延时的时候,就自动切换到其他任务。

这里是将 time 中的 sleep 换成了 gevent 中的 sleep。

那如果有网络程序,网络程序中也有许多堵塞,比如 connect, recv,accept,需要不需要换成 gevent 中的对应方法。

理论上来说,是要换的。如果想用 gevent,那么就要把所有的延时操作,堵塞这一类的函数,统统换成 gevent 中的对应方法。

那有个问题,万一我的代码已经写了10万行了,这换起来怎么破......

有什么办法不需要手动修改么,有,打个补丁即可。

import time
import gevent
from gevent import monkey

# 有耗时操作时需要
# 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块
monkey.patch_all() 

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

monkey.patch_all() 会自动去检查代码,将所有会产生延时堵塞的方法,都自动换成 gevent 中的方法。

运行结果:

<Greenlet at 0x3dd91e0: f(3)> 0
<Greenlet at 0x3dd9810: f(3)> 0
<Greenlet at 0x3dd99c0: f(3)> 0
<Greenlet at 0x3dd91e0: f(3)> 1
<Greenlet at 0x3dd9810: f(3)> 1
<Greenlet at 0x3dd99c0: f(3)> 1
<Greenlet at 0x3dd91e0: f(3)> 2
<Greenlet at 0x3dd9810: f(3)> 2
<Greenlet at 0x3dd99c0: f(3)> 2

总结:

通过利用延时的时间去做其他任务,把时间都利用起来,这就是协程最大的意义。

到此这篇关于协程Python 中实现多任务耗资源最小的方式的文章就介绍到这了,更多相关Python多任务耗资源最小方式内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python中处理字符串之ljust()方法的使用简介
May 19 Python
python计算一个序列的平均值的方法
Jul 11 Python
实例解析Python的Twisted框架中Deferred对象的用法
May 25 Python
Python随机数用法实例详解【基于random模块】
Apr 18 Python
Django admin美化插件suit使用示例
Dec 12 Python
利用python 更新ssh 远程代码 操作远程服务器的实现代码
Feb 08 Python
python实现多层感知器MLP(基于双月数据集)
Jan 18 Python
Python简直是万能的,这5大主要用途你一定要知道!(推荐)
Apr 03 Python
python pyinstaller打包exe报错的解决方法
Nov 02 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
10个python爬虫入门实例(小结)
Nov 01 Python
Python爬虫实战案例之爬取喜马拉雅音频数据详解
Dec 07 Python
python爬取音频下载的示例代码
Oct 19 #Python
Python爬虫教程知识点总结
Oct 19 #Python
自定义Django_rest_framework_jwt登陆错误返回的解决
Oct 18 #Python
如何利用python读取micaps文件详解
Oct 18 #Python
Python中Yield的基本用法
Oct 18 #Python
Anaconda+spyder+pycharm的pytorch配置详解(GPU)
Oct 18 #Python
Python通过format函数格式化显示值
Oct 17 #Python
You might like
神族 PROTOSS 概述
2020/03/14 星际争霸
thinkPHP显示不出验证码的原因与解决方法分析
2017/05/20 PHP
PHP实现唤起微信支付功能
2019/02/18 PHP
利用PHP内置SERVER开启web服务(本地开发使用)
2021/03/09 PHP
$()JS小技巧
2007/07/21 Javascript
javascript 自定义事件初探
2009/08/21 Javascript
Jquery replace 字符替换实现代码
2010/12/02 Javascript
兼容FF和IE的动态table示例自写
2013/10/21 Javascript
js实现收缩菜单效果实例代码
2013/10/30 Javascript
JQuery中操作Css样式的方法
2014/02/12 Javascript
浅谈JavaScript Date日期和时间对象
2014/12/29 Javascript
jQuery模拟原生态App上拉刷新下拉加载更多页面及原理
2015/08/10 Javascript
基于jQuery实现的菜单切换效果
2015/10/16 Javascript
javascript js 操作数组 增删改查的简单实现
2016/06/20 Javascript
js调用父框架函数与弹窗调用父页面函数的简单方法
2016/11/01 Javascript
Three.js利用性能插件stats实现性能监听的方法
2017/09/25 Javascript
写一个移动端惯性滑动&amp;回弹Vue导航栏组件 ly-tab
2018/03/06 Javascript
JavaScript设计模式之构造器模式(生成器模式)定义与用法实例分析
2018/07/26 Javascript
Vue中使用ElementUI使用第三方图标库iconfont的示例
2018/10/11 Javascript
vue与iframe之间的信息交互的实现
2020/04/08 Javascript
Python中的各种装饰器详解
2015/04/11 Python
在unittest中使用 logging 模块记录测试数据的方法
2018/11/30 Python
python修改文件内容的3种方法详解
2019/11/15 Python
python序列化与数据持久化实例详解
2019/12/20 Python
thinkphp5 路由分发原理
2021/03/18 PHP
澳大利亚领先的优质葡萄酒拍卖会:Langton’s Fine Wines
2019/03/24 全球购物
民族团结先进个人材料
2014/02/05 职场文书
投资协议书范本
2014/04/21 职场文书
企业文化标语大全
2014/06/10 职场文书
教师拔河比赛广播稿
2014/10/14 职场文书
2015年依法治校工作总结
2015/07/27 职场文书
《中国古代诗歌散文欣赏》高中语文教材
2019/08/20 职场文书
MySQL pt-slave-restart工具的使用简介
2021/04/07 MySQL
MySQL获取所有分类的前N条记录
2021/05/07 MySQL
Python开发五子棋小游戏
2022/05/02 Python
JAVA springCloud项目搭建流程
2022/05/11 Java/Android