python 单线程和异步协程工作方式解析


Posted in Python onSeptember 28, 2019

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO【HTTP连接就是网络IO操作】),实现应用程序级别的切换(异步IO)。注意:asyncio只能发tcp级别的请求,不能发http协议。

 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

实现方式:单线程+协程实现异步IO操作。

异步协程用法

接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了 async/await,使得协程的实现更加方便。首先我们需要了解下面几个概念:

  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。
  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。其中,async 定义一个协程,await 用来挂起阻塞方法的执行。

1.定义一个协程

示例:

from time import sleep
import asyncio

async def request(url):
  print('正在请求url')
  sleep(2)
  print('下载成功')

# 返回一个特殊的协程对象,request函数内部不会被执行
c = request('www.baidu.com')

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 基于事件循环对象创建一个任务对象,并将协程对象封装到该对象中
task = loop.create_task(c)

# 另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)

# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
# 当事件循环对象内的第一个参数遇到阻塞是,就会自动执行后面的对象,当第一个对象的阻塞结束是会上报给事件循环对象,然后事件循环对象继续执行第一个对象,从而达到异步的效果
loop.run_until_complete(task)

2.给任务对象绑定回调

import asyncio

async def request(url):
  print('正在请求url')
  print('下载成功')
  return url

# 回调函数必须有一个参数:task【任务对象】
# task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callback(task):
  print('this is callback')
  print(task.result())

c = request('www.baidu.com')
# 创建一个任务对象
task = asyncio.ensure_future(c)
# 给任务对象绑定一个回调函数
task.add_done_callback(callback)
# 实例化一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
loop.run_until_complete(task)

3.多任务异步协程

import asyncio
import time

urls = ['www.baidu.com','www.sogou,com','www.goubanjia.com']
start_time = time.time()
async def request(url):
  print('正在请求url')
  # 在多任务异步协程事项中,不可以出现不支持异步的相关代码,sleep不支持
  # sleep(2)
  await asyncio.sleep(2)
  print('下载成功')

loop = asyncio.get_event_loop()
# 任务列表:防止多个任务对象
tasks = []
for url in urls:
  c = request(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)

loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

4.多异步任务协程应用

# aiohttp:支持异步的一个基于网络请求的模块
import aiohttp
import asyncio
import time

urls = ['http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',]

start_time = time.time()

async def get_pageText(url):
  async with aiohttp.ClientSession() as s:# 实例化请求对象
    async with await s.get(url) as response:
      page_text = await response.text()
      print(page_text)
      # 这里有返回值,是因为要用回调函数进行数据解析
      return page_text

# 封装回调函数用于数据解析
def parse(task):
  # 1.获取相应数据
  page_text = task.reault()
  print(page_text+',即将进行数据解析...')
  # 以下解析操作


tasks = []
for url in urls:
  c = get_pageText(url)
  task = asyncio.ensure_future(c)
  # 给任务对象绑定回调函数用于数据解析
  task.add_done_callback(parse)
  tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python基于Pymssql模块实现连接SQL Server数据库的方法详解
Jul 20 Python
Python实现带参数与不带参数的多重继承示例
Jan 30 Python
使用python语言,比较两个字符串是否相同的实例
Jun 29 Python
python ftp 按目录结构上传下载的实现代码
Sep 12 Python
Python实现的IP端口扫描工具类示例
Feb 15 Python
python中for循环把字符串或者字典添加到列表的方法
Jul 20 Python
使用Python paramiko模块利用多线程实现ssh并发执行操作
Dec 05 Python
pytorch实现focal loss的两种方式小结
Jan 02 Python
基于Pyinstaller打包Python程序并压缩文件大小
May 28 Python
使用Python下载抖音各大V视频的思路详解
Feb 06 Python
Python中的datetime包与time包包和模块详情
Feb 28 Python
人工智能深度学习OpenAI baselines的使用方法
May 20 Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
python numpy存取文件的方式
Apr 01 #Python
100行Python代码实现每天不同时间段定时给女友发消息
Sep 27 #Python
使用Fabric自动化部署Django项目的实现
Sep 27 #Python
You might like
php使用curl发送json格式数据实例
2013/12/17 PHP
PHP中array_slice函数用法实例详解
2014/11/25 PHP
php中替换字符串函数strtr()和str_repalce()的用法与区别
2016/11/25 PHP
CodeIgniter框架实现的整合Smarty引擎DEMO示例
2019/03/28 PHP
laravel dingo API返回自定义错误信息的实例
2019/09/29 PHP
Web Inspector:关于在 Sublime Text 中调试Js的介绍
2013/04/18 Javascript
解析JavaScript中的标签语句
2013/06/19 Javascript
前端必备神器 Snap.svg 弹动效果
2014/11/10 Javascript
js改变embed标签src值的方法
2015/04/10 Javascript
javascript实现验证身份证号的有效性并提示
2015/04/30 Javascript
uploadify多文件上传参数设置技巧
2015/11/16 Javascript
AngularJS身份验证的方法
2016/02/17 Javascript
angularjs 中$apply,$digest,$watch详解
2016/10/13 Javascript
JS中关于事件处理函数名后面是否带括号的问题
2016/11/16 Javascript
Javascript计算二维数组重复值示例代码
2016/12/18 Javascript
javascript中new Array()和var arr=[]用法区别
2017/12/01 Javascript
微信小程序使用video组件播放视频功能示例【附源码下载】
2017/12/08 Javascript
详解如何用模块化的方式写vuejs
2017/12/16 Javascript
安装vue-cli的简易过程
2018/05/22 Javascript
微信小程序自定义可滑动顶部TabBar选项卡实现页面切换功能示例
2019/05/14 Javascript
VUE组件中的 Drawer 抽屉实现代码
2019/08/06 Javascript
Vue.js 无限滚动列表性能优化方案
2019/12/02 Javascript
JavaScript canvas实现跟随鼠标移动小球
2021/02/09 Javascript
Django实现学员管理系统
2019/02/26 Python
Python实现插入排序和选择排序的方法
2019/05/12 Python
同事吵架检讨书
2014/02/05 职场文书
自立自强的名人事例
2014/02/10 职场文书
接待员岗位责任制
2014/02/10 职场文书
社区党建工作汇报材料
2014/10/27 职场文书
成品仓管员岗位职责
2015/04/01 职场文书
音乐会主持人开场白
2015/05/28 职场文书
监守自盗观后感
2015/06/10 职场文书
毕业论文答辩演讲稿
2015/06/23 职场文书
2015上半年个人工作总结
2015/07/27 职场文书
幼儿园教师教育随笔
2015/08/14 职场文书
经典《舰娘》游改全新动画预告 预定11月开播
2022/04/01 日漫