协程Python 中实现多任务耗资源最小的方式


Posted in Python onOctober 19, 2020

协程,又称微线程,纤程。英文名 Coroutine。

协程是 Python 中另外一种实现多任务的方式,只不过比线程更小,占用更小执行单元(理解为需要的资源)。

为啥说它是一个执行单元,因为它自带 CPU 上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。

协程和线程差异

在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。

操作系统为了程序运行的高效性每个线程都有自己缓存 Cache 等等数据,操作系统还会帮你做这些数据的恢复操作,所以线程的切换非常耗性能。

但是协程的切换只是单纯的操作 CPU 的上下文,所以一秒钟切换个上百万次系统都抗得住。

之前我们讲过 yield 关键字,现在就用它来实现多任务。

例子:

import time

def task_1():
  while True:
    print("--1--")
    time.sleep(0.5)
    yield

def task_2():
  while True:
    print("--2--")
    time.sleep(0.5)
    yield

def main():
  t1 = task_1()
  t2 = task_2()
  while True:
    next(t1)
    next(t2)

if __name__ == "__main__":
  main()

运行过程:

先让 t1 运行一会,当 t1 遇到 yield 的时候,再返回到 main() 循环的地方,然后执行 t2 , 当它遇到 yield 的时候,再次切换到 t1 中,这样 t1 和 t2 就交替运行,最终实现了多任务,协程。

运行结果:

协程Python 中实现多任务耗资源最小的方式

greenlet

为了更好使用协程来完成多任务,Python 中的 greenlet 模块对其封装,从而使得切换任务变的更加简单。

首先你要安装一下 greenlet 模块。

pip3 install greenlet
from greenlet import greenlet
import time

def test1():
  while True:
    print("---A--")
    gr2.switch()
    time.sleep(0.5)

def test2():
  while True:
    print("---B--")
    gr1.switch()
    time.sleep(0.5)

gr1 = greenlet(test1)
gr2 = greenlet(test2)

# 切换到gr1中运行
gr1.switch()

运行结果:

协程Python 中实现多任务耗资源最小的方式

和我们之前用 yield 实现的效果基本一样,greenlet 其实是对 yield 进行了简单的封装。

greenlet 实现多任务要比 yield 更简单,但是我们以后还是不用它。

上面例子中的延时是0.5秒,如果延迟是100秒,那么程序就会卡住100秒,就算有其他需要执行的任务,系统也不会切换过去,这100秒的时间是无法利用的。

这个问题下面来解决。

gevent

greenlet 已经实现了协程,但是还是得进行人工切换,是不是觉得太麻烦了。

Python 还有一个比 greenlet 更强大的并且能够自动切换任务的模块 gevent。

gevent 是对 greenlet 的再次封装。

其原理是当一个 greenlet 遇到 IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的 greenlet,等到 IO 操作完成,再在适当的时候切换回来继续执行。

由于 IO 操作非常耗时,经常使程序处于等待状态,有了gevent 为我们自动切换协程,就保证总有 greenlet 在运行,而不是等待 IO。

首先还是得先安装 gevent。

pip3 install gevent

例子:

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

运行结果:

<Greenlet at 0x35aae40: f(3)> 0
<Greenlet at 0x35aae40: f(3)> 1
<Greenlet at 0x35aae40: f(3)> 2
<Greenlet at 0x374a780: f(3)> 0
<Greenlet at 0x374a780: f(3)> 1
<Greenlet at 0x374a780: f(3)> 2
<Greenlet at 0x374a810: f(3)> 0
<Greenlet at 0x374a810: f(3)> 1
<Greenlet at 0x374a810: f(3)> 2

可以看到,3个 greenlet 是依次运行而不是交替运行。

这还无法判断 gevent 是否实现了多任务的效果,最好的判断情况是在运行结果中 0 1 2 不按顺序出现。

在 gevent 的概念中,我们提到 gevent 在遇到延时的时候会自动切换任务。

那么,我们先给上面的例子添加延时,再看效果。

import gevent
import time

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

运行结果:

<Greenlet at 0x36aae40: f(3)> 0
<Greenlet at 0x36aae40: f(3)> 1
<Greenlet at 0x36aae40: f(3)> 2
<Greenlet at 0x384a780: f(3)> 0
<Greenlet at 0x384a780: f(3)> 1
<Greenlet at 0x384a780: f(3)> 2
<Greenlet at 0x384a810: f(3)> 0
<Greenlet at 0x384a810: f(3)> 1
<Greenlet at 0x384a810: f(3)> 2

在添加了延时之后,运行结果并没有改变。

其实,gevent 要的不是 time.sleep() 的延时,而是 gevent.sleep() 的延时。

import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

join 还有一种更简单的写法。

import time
import gevent

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)

gevent.joinall([
  gevent.spawn(f, 3),
  gevent.spawn(f, 3),
  gevent.spawn(f, 3)
])

一般都是后面的这种写法。

运行结果:

<Greenlet at 0x2e5ae40: f(3)> 0
<Greenlet at 0x2ffa780: f(3)> 0
<Greenlet at 0x2ffa810: f(3)> 0
<Greenlet at 0x2e5ae40: f(3)> 1
<Greenlet at 0x2ffa780: f(3)> 1
<Greenlet at 0x2ffa810: f(3)> 1
<Greenlet at 0x2e5ae40: f(3)> 2
<Greenlet at 0x2ffa780: f(3)> 2
<Greenlet at 0x2ffa810: f(3)> 2

这下终于实现多任务的效果了, gevent 在遇到延时的时候,就自动切换到其他任务。

这里是将 time 中的 sleep 换成了 gevent 中的 sleep。

那如果有网络程序,网络程序中也有许多堵塞,比如 connect, recv,accept,需要不需要换成 gevent 中的对应方法。

理论上来说,是要换的。如果想用 gevent,那么就要把所有的延时操作,堵塞这一类的函数,统统换成 gevent 中的对应方法。

那有个问题,万一我的代码已经写了10万行了,这换起来怎么破......

有什么办法不需要手动修改么,有,打个补丁即可。

import time
import gevent
from gevent import monkey

# 有耗时操作时需要
# 将程序中用到的耗时操作的代码,换为gevent中自己实现的模块
monkey.patch_all() 

def f(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)
g1.join()
g2.join()
g3.join()

monkey.patch_all() 会自动去检查代码,将所有会产生延时堵塞的方法,都自动换成 gevent 中的方法。

运行结果:

<Greenlet at 0x3dd91e0: f(3)> 0
<Greenlet at 0x3dd9810: f(3)> 0
<Greenlet at 0x3dd99c0: f(3)> 0
<Greenlet at 0x3dd91e0: f(3)> 1
<Greenlet at 0x3dd9810: f(3)> 1
<Greenlet at 0x3dd99c0: f(3)> 1
<Greenlet at 0x3dd91e0: f(3)> 2
<Greenlet at 0x3dd9810: f(3)> 2
<Greenlet at 0x3dd99c0: f(3)> 2

总结:

通过利用延时的时间去做其他任务,把时间都利用起来,这就是协程最大的意义。

到此这篇关于协程Python 中实现多任务耗资源最小的方式的文章就介绍到这了,更多相关Python多任务耗资源最小方式内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
详细解析Python当中的数据类型和变量
Apr 25 Python
Python使用Beautiful Soup包编写爬虫时的一些关键点
Jan 20 Python
Python中列表元素转为数字的方法分析
Jun 14 Python
Python中int()函数的用法浅析
Oct 17 Python
Python实现决策树C4.5算法的示例
May 30 Python
python print输出延时,让其立刻输出的方法
Jan 07 Python
使用Python的SymPy库解决数学运算问题的方法
Mar 27 Python
python numpy实现文件存取的示例代码
May 26 Python
python打包成so文件过程解析
Sep 28 Python
利用python绘制数据曲线图的实现
Apr 09 Python
Python requests HTTP验证登录实现流程
Nov 05 Python
Python 数据科学 Matplotlib图库详解
Jul 07 Python
python爬取音频下载的示例代码
Oct 19 #Python
Python爬虫教程知识点总结
Oct 19 #Python
自定义Django_rest_framework_jwt登陆错误返回的解决
Oct 18 #Python
如何利用python读取micaps文件详解
Oct 18 #Python
Python中Yield的基本用法
Oct 18 #Python
Anaconda+spyder+pycharm的pytorch配置详解(GPU)
Oct 18 #Python
Python通过format函数格式化显示值
Oct 17 #Python
You might like
?生?D片??C字串
2006/12/06 PHP
PHP使用curl_multi_select解决curl_multi网页假死问题的方法
2018/08/15 PHP
如何优雅的使用 laravel 的 validator验证方法
2018/11/11 PHP
PHP实现Markdown文章上传到七牛图床的实例内容
2020/02/11 PHP
gearman中任务的优先级和返回状态实例分析
2020/02/27 PHP
关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍
2020/07/13 PHP
PHP获取类私有属性的3种方法
2020/09/10 PHP
使用jquery实现select添加实现后台权限添加的效果
2011/05/28 Javascript
JavaScript中的匀速运动和变速(缓冲)运动详细介绍
2012/11/11 Javascript
Javascript模块化编程(一)模块的写法最佳实践
2013/01/17 Javascript
ScrollDown的基本操作示例
2013/06/09 Javascript
js实现iframe框架取值的方法(兼容IE,firefox,chrome等)
2015/11/26 Javascript
基于BootStrap Metronic开发框架经验小结【五】Bootstrap File Input文件上传插件的用法详解
2016/05/12 Javascript
AngularJS equal比较对象实例详解
2016/09/14 Javascript
JS DOMReady事件的六种实现方法总结
2016/11/23 Javascript
vue实现一个移动端屏蔽滑动的遮罩层实例
2017/06/08 Javascript
validationEngine 表单验证插件使用实例代码
2017/06/15 Javascript
详解React中setState回调函数
2018/06/14 Javascript
Vue渲染过程浅析
2019/03/14 Javascript
用VsCode编辑TypeScript的实现方法
2020/05/07 Javascript
JS中准确判断变量类型的方法
2020/06/01 Javascript
js实现炫酷光感效果
2020/09/05 Javascript
Python import用法以及与from...import的区别
2015/05/28 Python
如何使用七牛Python SDK写一个同步脚本及使用教程
2015/08/23 Python
python绘制圆柱体的方法
2018/07/02 Python
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
2018/12/12 Python
基于python实现高速视频传输程序
2019/05/05 Python
python实现字符串和数字拼接
2020/03/02 Python
Python视频编辑库MoviePy的使用
2020/04/01 Python
HTML5新特性之语义化标签
2017/10/31 HTML / CSS
Gretna Green中文官网:苏格兰格林小镇
2019/10/16 全球购物
大学生自助营养快餐店创业计划书
2014/01/13 职场文书
2014班子成员自我剖析材料思想汇报
2014/10/01 职场文书
公司介绍信范文
2015/01/31 职场文书
个人房屋租赁合同(标准范本)
2019/09/16 职场文书
JavaWeb实现显示mysql数据库数据
2022/03/19 Java/Android