python asyncio 协程库的使用


Posted in Python onJanuary 21, 2021

asyncio 是 python 力推多年的携程库,与其 线程库 相得益彰,更轻量,并且协程可以访问同一进程中的变量,不需要进程间通信来传递数据,所以使用起来非常顺手。

asyncio 官方文档写的非常简练和有效,半小时内可以学习和测试完,下面为我的一段 HelloWrold,感觉可以更快速的帮你认识 协程 。

定义协程

import asyncio
import time


async def say_after(delay, what):
  await asyncio.sleep(delay)
  print(what)

async 关键字用来声明一个协程函数,这种函数不能直接调用,会抛出异常。正确的调用姿势有:

await 协程()
await asyncio.gather(协程1(), 协程2())
await asyncio.waite([协程1(), 协程2()])
asyncio.create_task(协程())

await 阻塞式调用协程

先来测试前 3 种 await 的方式:

async def main1():
  # 直接 await,顺序执行
  await say_after(2, "2s")
  await say_after(1, "1s")


async def main2():
  # 使用 gather,并发执行
  await asyncio.gather(say_after(2, "2s"), say_after(1, "1s"))


async def main3():
  # 使用 wait,简单等待
  # 3.8 版后已废弃: 如果 aws 中的某个可等待对象为协程,它将自动作为任务加入日程。直接向 wait() 传入协程对象已弃用,因为这会导致 令人迷惑的行为。
  # 3.10 版后移除
  await asyncio.wait([say_after(2, "2s"), say_after(1, "1s")])

python 规定: 调用协程可以用 await,但 await 必须在另一个协程中 —— 这不死循环了?不会的,asyncio 提供了多个能够最初调用协程的入口:

asyncio.get_event_loop().run_until_complete(协程)
asyncio.run(协程)

封装一个计算时间的函数,然后把 2 种方式都试一下:

def runtime(entry, func):
  print("-" * 10 + func.__name__)
  start = time.perf_counter()
  entry(func())
  print("=" * 10 + "{:.5f}".format(time.perf_counter() - start))

print("########### 用 loop 入口协程 ###########")

loop = asyncio.get_event_loop()
runtime(loop.run_until_complete, main1)
runtime(loop.run_until_complete, main2)
runtime(loop.run_until_complete, main3)
loop.close()

print("########### 用 run 入口协程 ###########")

runtime(asyncio.run, main1)
runtime(asyncio.run, main2)
runtime(asyncio.run, main3)

运行结果:

########### 用 loop 入口协程 ###########
----------main1
2s
1s
==========3.00923
----------main2
1s
2s
==========2.00600
----------main3
1s
2s
==========2.00612
########### 用 run 入口协程 ###########
----------main1
2s
1s
==========3.01193
----------main2
1s
2s
==========2.00681
----------main3
1s
2s
==========2.00592

可见,2 种协程入口调用方式差别不大

下面,需要明确 2 个问题:

协程间的并发问题 :除了 main1 耗时 3s 外,其他都是 2s,说明 main1 方式串行执行 2 个协程,其他是并发执行协程。
协程是否阻塞父协程/父进程的问题 :上述测试都使用了 await,即等待协程执行完毕后再继续往下走,所以都是阻塞式的,主进程都在此等待协程的执行完。—— 那么如何才能不阻塞父协程呢? 不加 await 行么? —— 上面 3 种方式都不行!
下面介绍可以不阻塞主协程的方式。

task 实现更灵活的协程

一切都在代码中:

# 验证 task 启动协程是立即执行的
async def main4():
  # create_task() Python 3.7 中被加入
  task1 = asyncio.create_task(say_after(2, "2s"))
  task2 = asyncio.create_task(say_after(1, "1s"))
  # 创建任务后会立即开始执行,后续可以用 await 来等待其完成后再继续,也可以被 cancle
  await task1 # 等待 task1 执行完,其实返回时 2 个task 都已经执行完
  print("--") # 最后才会被打印,因为 2 个task 都已经执行完
  await task2
  # 这里是等待所有 task 结束才继续运行。


# 验证父协程与子协程的关闭关系
async def main5():
  task1 = asyncio.create_task(say_after(2, "2s"))
  task2 = asyncio.create_task(say_after(1, "1s"))
  # 如果不等待,函数会直接 return,main5 协程结束,task1/2 子协程也结束,所以看不到打印
  # 此处等待 1s,则会只看到 1 个,等待 >2s,则会看到 2 个 task 的打印
  await asyncio.sleep(2)


# python3.8 后 python 为 asyncio 的 task 增加了很多功能:
# get/set name、获取正在运行的 task、cancel 功能
# 验证 task 的 cancel() 功能
async def cancel_me(t):
  # 定义一个可处理 CancelledError 的协程
  print("cancel_me(): before sleep")
  try:
    await asyncio.sleep(t)
  except asyncio.CancelledError:
    print("cancel_me(): cancel sleep")
    raise
  finally:
    print("cancel_me(): after sleep")
  return "I hate be canceled"


async def main6():
  async def test(t1, t2):
    task = asyncio.create_task(cancel_me(t1))
    await asyncio.sleep(t2)
    task.cancel() # 会在 task 内引发一个 CancelledError
    try:
      await task
    except asyncio.CancelledError:
      print("main(): cancel_me is cancelled now")
    try:
      print(task.result())
    except asyncio.CancelledError:
      print("main(): cancel_me is cancelled now")

  # 让其运行2s,但在1s时 cancel 它
  await test(2, 1) # await 和 result 时都会引发 CancelledError
  await test(1, 2) # await 和 result 时不会引发,并且 result 会得到函数的返回值

runtime(asyncio.run, main4)
runtime(asyncio.run, main5)
runtime(asyncio.run, main6)

运行结果:

----------main4
1s
2s
--
==========2.00557
----------main5
1s
2s
==========3.00160
----------main6
cancel_me(): before sleep
cancel_me(): cancel sleep
cancel_me(): after sleep
main(): cancel_me is cancelled now
main(): cancel_me is cancelled now
cancel_me(): before sleep
cancel_me(): after sleep
I hate be canceled
==========3.00924

技术总结

细节都在注释里直接描述了,总结一下:

  • await 会阻塞主协程,等待子协程完成
  • await asyncio.gather/wait() 可以实现多个子协程的并发执行
  • await 本身要在协程中执行,即在父协程中执行
  • asyncio.get_event_loop().run_until_complete() 和 asyncio.run() 可作为最初的协程开始入口
  • task 是最新、最推荐的协程方式,可以完成阻塞、非阻塞,
  • task = asyncio.create_task(协程) 后直接开始执行了,并不会等待其他指令
  • await task 是阻塞式,等待 task 执行结束
  • 不 await,非阻塞,但要此时父协程不能退出,否则 task 作为子协程也被退出
  • task 可 cancel() 取消功能,可 result() 获取子协程的返回值

以上就是python asyncio 协程库的使用的详细内容,更多关于python asyncio 协程库的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python linecache.getline()读取文件中特定一行的脚本
Sep 06 Python
使用C#配合ArcGIS Engine进行地理信息系统开发
Feb 19 Python
python之virtualenv的简单使用方法(必看篇)
Nov 25 Python
pytorch 更改预训练模型网络结构的方法
Aug 19 Python
window环境pip切换国内源(pip安装异常缓慢的问题)
Dec 31 Python
Python实现自动装机功能案例分析
Oct 22 Python
python 进制转换 int、bin、oct、hex的原理
Jan 13 Python
详解用 python-docx 创建浮动图片
Jan 24 Python
如何将numpy二维数组中的np.nan值替换为指定的值
May 14 Python
使用qt quick-ListView仿微信好友列表和聊天列表的示例代码
Jun 13 Python
Python实现数据的序列化操作详解
Jul 07 Python
Python  序列化反序列化和异常处理的问题小结
Dec 24 Python
python palywright库基本使用
Jan 21 #Python
python Scrapy爬虫框架的使用
Jan 21 #Python
python 可视化库PyG2Plot的使用
Jan 21 #Python
详解基于Facecognition+Opencv快速搭建人脸识别及跟踪应用
Jan 21 #Python
Python实现石头剪刀布游戏
Jan 20 #Python
python程序实现BTC(比特币)挖矿的完整代码
Jan 20 #Python
python3中celery异步框架简单使用+守护进程方式启动
Jan 20 #Python
You might like
PHP类的反射用法实例
2014/11/03 PHP
use jscript Create a SQL Server database
2007/06/16 Javascript
循环 vs 递归浅谈
2013/02/28 Javascript
基于SVG的web页面图形绘制API介绍及编程演示
2013/06/28 Javascript
js中array的sort()方法使用介绍
2014/02/20 Javascript
js实现checkbox全选和反选示例
2014/05/01 Javascript
javascript中callee与caller的区别分析
2015/04/20 Javascript
JavaScript实现模仿桌面窗口的方法
2015/07/18 Javascript
jQuery使用contains过滤器实现精确匹配方法详解
2016/02/25 Javascript
关于两个jQuery(js)特效冲突的bug的解决办法
2016/09/04 Javascript
Node.js五大应用性能技巧小结(必须收藏)
2017/08/09 Javascript
从零开始最小实现react服务器渲染详解
2018/01/26 Javascript
jQuery实现鼠标点击处心形漂浮的炫酷效果示例
2018/04/12 jQuery
node实现分片下载的示例代码
2018/10/17 Javascript
详解vuex 渐进式教程实例代码
2018/11/27 Javascript
jquery获取file表单选择文件的路径、名字、大小、类型
2019/01/18 jQuery
使用layer弹窗提交表单时判断表单是否输入为空的例子
2019/09/26 Javascript
ant design vue导航菜单与路由配置操作
2020/10/28 Javascript
python根据时间生成mongodb的ObjectId的方法
2015/03/13 Python
总结python爬虫抓站的实用技巧
2016/08/09 Python
Python进度条实时显示处理进度的示例代码
2018/01/30 Python
python使用folium库绘制地图点击框
2018/09/21 Python
深入了解Python iter() 方法的用法
2019/07/11 Python
python 微信好友特征数据分析及可视化
2020/01/07 Python
python 实现人和电脑猜拳的示例代码
2020/03/02 Python
学会python自动收发邮件 代替你问候女友
2020/05/20 Python
关于毕业的中学校园广播稿
2014/01/26 职场文书
《小儿垂钓》教学反思
2014/02/23 职场文书
企业安全生产演讲稿
2014/05/09 职场文书
安全保证书
2015/01/16 职场文书
幼儿教师师德师风自我评价
2015/03/05 职场文书
2015年保送生自荐信
2015/03/24 职场文书
单身证明格式样本
2015/06/15 职场文书
2016元旦晚会主持词开场白和结束语
2015/12/04 职场文书
linux中nohup和后台运行进程查看及终止
2021/06/24 Python
mysql查找连续出现n次以上的数字
2022/05/11 MySQL