python asyncio 协程库的使用


Posted in Python onJanuary 21, 2021

asyncio 是 python 力推多年的携程库,与其 线程库 相得益彰,更轻量,并且协程可以访问同一进程中的变量,不需要进程间通信来传递数据,所以使用起来非常顺手。

asyncio 官方文档写的非常简练和有效,半小时内可以学习和测试完,下面为我的一段 HelloWrold,感觉可以更快速的帮你认识 协程 。

定义协程

import asyncio
import time


async def say_after(delay, what):
  await asyncio.sleep(delay)
  print(what)

async 关键字用来声明一个协程函数,这种函数不能直接调用,会抛出异常。正确的调用姿势有:

await 协程()
await asyncio.gather(协程1(), 协程2())
await asyncio.waite([协程1(), 协程2()])
asyncio.create_task(协程())

await 阻塞式调用协程

先来测试前 3 种 await 的方式:

async def main1():
  # 直接 await,顺序执行
  await say_after(2, "2s")
  await say_after(1, "1s")


async def main2():
  # 使用 gather,并发执行
  await asyncio.gather(say_after(2, "2s"), say_after(1, "1s"))


async def main3():
  # 使用 wait,简单等待
  # 3.8 版后已废弃: 如果 aws 中的某个可等待对象为协程,它将自动作为任务加入日程。直接向 wait() 传入协程对象已弃用,因为这会导致 令人迷惑的行为。
  # 3.10 版后移除
  await asyncio.wait([say_after(2, "2s"), say_after(1, "1s")])

python 规定: 调用协程可以用 await,但 await 必须在另一个协程中 —— 这不死循环了?不会的,asyncio 提供了多个能够最初调用协程的入口:

asyncio.get_event_loop().run_until_complete(协程)
asyncio.run(协程)

封装一个计算时间的函数,然后把 2 种方式都试一下:

def runtime(entry, func):
  print("-" * 10 + func.__name__)
  start = time.perf_counter()
  entry(func())
  print("=" * 10 + "{:.5f}".format(time.perf_counter() - start))

print("########### 用 loop 入口协程 ###########")

loop = asyncio.get_event_loop()
runtime(loop.run_until_complete, main1)
runtime(loop.run_until_complete, main2)
runtime(loop.run_until_complete, main3)
loop.close()

print("########### 用 run 入口协程 ###########")

runtime(asyncio.run, main1)
runtime(asyncio.run, main2)
runtime(asyncio.run, main3)

运行结果:

########### 用 loop 入口协程 ###########
----------main1
2s
1s
==========3.00923
----------main2
1s
2s
==========2.00600
----------main3
1s
2s
==========2.00612
########### 用 run 入口协程 ###########
----------main1
2s
1s
==========3.01193
----------main2
1s
2s
==========2.00681
----------main3
1s
2s
==========2.00592

可见,2 种协程入口调用方式差别不大

下面,需要明确 2 个问题:

协程间的并发问题 :除了 main1 耗时 3s 外,其他都是 2s,说明 main1 方式串行执行 2 个协程,其他是并发执行协程。
协程是否阻塞父协程/父进程的问题 :上述测试都使用了 await,即等待协程执行完毕后再继续往下走,所以都是阻塞式的,主进程都在此等待协程的执行完。—— 那么如何才能不阻塞父协程呢? 不加 await 行么? —— 上面 3 种方式都不行!
下面介绍可以不阻塞主协程的方式。

task 实现更灵活的协程

一切都在代码中:

# 验证 task 启动协程是立即执行的
async def main4():
  # create_task() Python 3.7 中被加入
  task1 = asyncio.create_task(say_after(2, "2s"))
  task2 = asyncio.create_task(say_after(1, "1s"))
  # 创建任务后会立即开始执行,后续可以用 await 来等待其完成后再继续,也可以被 cancle
  await task1 # 等待 task1 执行完,其实返回时 2 个task 都已经执行完
  print("--") # 最后才会被打印,因为 2 个task 都已经执行完
  await task2
  # 这里是等待所有 task 结束才继续运行。


# 验证父协程与子协程的关闭关系
async def main5():
  task1 = asyncio.create_task(say_after(2, "2s"))
  task2 = asyncio.create_task(say_after(1, "1s"))
  # 如果不等待,函数会直接 return,main5 协程结束,task1/2 子协程也结束,所以看不到打印
  # 此处等待 1s,则会只看到 1 个,等待 >2s,则会看到 2 个 task 的打印
  await asyncio.sleep(2)


# python3.8 后 python 为 asyncio 的 task 增加了很多功能:
# get/set name、获取正在运行的 task、cancel 功能
# 验证 task 的 cancel() 功能
async def cancel_me(t):
  # 定义一个可处理 CancelledError 的协程
  print("cancel_me(): before sleep")
  try:
    await asyncio.sleep(t)
  except asyncio.CancelledError:
    print("cancel_me(): cancel sleep")
    raise
  finally:
    print("cancel_me(): after sleep")
  return "I hate be canceled"


async def main6():
  async def test(t1, t2):
    task = asyncio.create_task(cancel_me(t1))
    await asyncio.sleep(t2)
    task.cancel() # 会在 task 内引发一个 CancelledError
    try:
      await task
    except asyncio.CancelledError:
      print("main(): cancel_me is cancelled now")
    try:
      print(task.result())
    except asyncio.CancelledError:
      print("main(): cancel_me is cancelled now")

  # 让其运行2s,但在1s时 cancel 它
  await test(2, 1) # await 和 result 时都会引发 CancelledError
  await test(1, 2) # await 和 result 时不会引发,并且 result 会得到函数的返回值

runtime(asyncio.run, main4)
runtime(asyncio.run, main5)
runtime(asyncio.run, main6)

运行结果:

----------main4
1s
2s
--
==========2.00557
----------main5
1s
2s
==========3.00160
----------main6
cancel_me(): before sleep
cancel_me(): cancel sleep
cancel_me(): after sleep
main(): cancel_me is cancelled now
main(): cancel_me is cancelled now
cancel_me(): before sleep
cancel_me(): after sleep
I hate be canceled
==========3.00924

技术总结

细节都在注释里直接描述了,总结一下:

  • await 会阻塞主协程,等待子协程完成
  • await asyncio.gather/wait() 可以实现多个子协程的并发执行
  • await 本身要在协程中执行,即在父协程中执行
  • asyncio.get_event_loop().run_until_complete() 和 asyncio.run() 可作为最初的协程开始入口
  • task 是最新、最推荐的协程方式,可以完成阻塞、非阻塞,
  • task = asyncio.create_task(协程) 后直接开始执行了,并不会等待其他指令
  • await task 是阻塞式,等待 task 执行结束
  • 不 await,非阻塞,但要此时父协程不能退出,否则 task 作为子协程也被退出
  • task 可 cancel() 取消功能,可 result() 获取子协程的返回值

以上就是python asyncio 协程库的使用的详细内容,更多关于python asyncio 协程库的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python二分法实现实例
Nov 21 Python
Python urlopen()函数 示例分享
Jun 12 Python
Python实现生成简单的Makefile文件代码示例
Mar 10 Python
自己编程中遇到的Python错误和解决方法汇总整理
Jun 03 Python
python SSH模块登录,远程机执行shell命令实例解析
Jan 12 Python
修复 Django migration 时遇到的问题解决
Jun 14 Python
OpenCV 轮廓检测的实现方法
Jul 03 Python
Pycharm使用之设置代码字体大小和颜色主题的教程
Jul 12 Python
pandas按行按列遍历Dataframe的几种方式
Oct 23 Python
python3跳出一个循环的实例操作
Aug 18 Python
python如何控制进程或者线程的个数
Oct 16 Python
python实现监听键盘
Apr 26 Python
python palywright库基本使用
Jan 21 #Python
python Scrapy爬虫框架的使用
Jan 21 #Python
python 可视化库PyG2Plot的使用
Jan 21 #Python
详解基于Facecognition+Opencv快速搭建人脸识别及跟踪应用
Jan 21 #Python
Python实现石头剪刀布游戏
Jan 20 #Python
python程序实现BTC(比特币)挖矿的完整代码
Jan 20 #Python
python3中celery异步框架简单使用+守护进程方式启动
Jan 20 #Python
You might like
信用卡效验程序
2006/10/09 PHP
PHP中把有符号整型转换为无符号整型方法
2015/05/27 PHP
THinkPHP获取客户端IP与IP地址查询的方法
2016/11/14 PHP
执行iframe中的javascript方法
2008/10/07 Javascript
jquery的$(document).ready()和onload的加载顺序
2010/05/26 Javascript
根据表格中的某一列进行排序的javascript代码
2013/11/29 Javascript
Area 区域实现post提交数据的js写法
2014/04/22 Javascript
javascript 构造函数方式定义对象
2015/01/02 Javascript
原生js实现移动开发轮播图、相册滑动特效
2015/04/17 Javascript
JavaScript的类型、值和变量小结
2015/07/09 Javascript
JS实现将Asp.Net的DateTime Json类型转换为标准时间的方法
2016/08/02 Javascript
AngularJS 实现弹性盒子布局的方法
2016/08/30 Javascript
树结构之JavaScript
2017/01/24 Javascript
JS数组交集、并集、差集的示例代码
2017/08/23 Javascript
vue 将页面公用的头部组件化的方法
2017/12/18 Javascript
JS实现图片懒加载(lazyload)过程详解
2020/04/02 Javascript
Python对列表排序的方法实例分析
2015/05/16 Python
Python实现注册登录系统
2017/08/08 Python
Python递归实现汉诺塔算法示例
2018/03/19 Python
python让列表倒序输出的实例
2018/06/25 Python
Python如何获得百度统计API的数据并发送邮件示例代码
2019/01/27 Python
numpy和pandas中数组的合并、拉直和重塑实例
2019/06/28 Python
Python实现串口通信(pyserial)过程解析
2019/09/25 Python
解决pycharm最左侧Tool Buttons显示不全的问题
2019/12/17 Python
python实现人机猜拳小游戏
2020/02/03 Python
详解python第三方库的安装、PyInstaller库、random库
2021/03/03 Python
Canvas制作的下雨动画的示例
2018/03/06 HTML / CSS
宝宝周岁宴答谢词
2014/01/26 职场文书
写自荐信的注意事项
2014/03/09 职场文书
银行授权委托书范本
2014/10/04 职场文书
年度考核登记表个人总结
2015/03/06 职场文书
新闻稿件写作范文
2015/07/18 职场文书
教务处教学工作总结
2015/08/10 职场文书
交通安全主题班会
2015/08/12 职场文书
小学思品教学反思
2016/02/20 职场文书
浅谈mysql返回Boolean类型的几种情况
2021/06/04 MySQL