python 单线程和异步协程工作方式解析


Posted in Python onSeptember 28, 2019

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO【HTTP连接就是网络IO操作】),实现应用程序级别的切换(异步IO)。注意:asyncio只能发tcp级别的请求,不能发http协议。

 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

实现方式:单线程+协程实现异步IO操作。

异步协程用法

接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了 async/await,使得协程的实现更加方便。首先我们需要了解下面几个概念:

  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。
  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。其中,async 定义一个协程,await 用来挂起阻塞方法的执行。

1.定义一个协程

示例:

from time import sleep
import asyncio

async def request(url):
  print('正在请求url')
  sleep(2)
  print('下载成功')

# 返回一个特殊的协程对象,request函数内部不会被执行
c = request('www.baidu.com')

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 基于事件循环对象创建一个任务对象,并将协程对象封装到该对象中
task = loop.create_task(c)

# 另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)

# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
# 当事件循环对象内的第一个参数遇到阻塞是,就会自动执行后面的对象,当第一个对象的阻塞结束是会上报给事件循环对象,然后事件循环对象继续执行第一个对象,从而达到异步的效果
loop.run_until_complete(task)

2.给任务对象绑定回调

import asyncio

async def request(url):
  print('正在请求url')
  print('下载成功')
  return url

# 回调函数必须有一个参数:task【任务对象】
# task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callback(task):
  print('this is callback')
  print(task.result())

c = request('www.baidu.com')
# 创建一个任务对象
task = asyncio.ensure_future(c)
# 给任务对象绑定一个回调函数
task.add_done_callback(callback)
# 实例化一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
loop.run_until_complete(task)

3.多任务异步协程

import asyncio
import time

urls = ['www.baidu.com','www.sogou,com','www.goubanjia.com']
start_time = time.time()
async def request(url):
  print('正在请求url')
  # 在多任务异步协程事项中,不可以出现不支持异步的相关代码,sleep不支持
  # sleep(2)
  await asyncio.sleep(2)
  print('下载成功')

loop = asyncio.get_event_loop()
# 任务列表:防止多个任务对象
tasks = []
for url in urls:
  c = request(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)

loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

4.多异步任务协程应用

# aiohttp:支持异步的一个基于网络请求的模块
import aiohttp
import asyncio
import time

urls = ['http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',]

start_time = time.time()

async def get_pageText(url):
  async with aiohttp.ClientSession() as s:# 实例化请求对象
    async with await s.get(url) as response:
      page_text = await response.text()
      print(page_text)
      # 这里有返回值,是因为要用回调函数进行数据解析
      return page_text

# 封装回调函数用于数据解析
def parse(task):
  # 1.获取相应数据
  page_text = task.reault()
  print(page_text+',即将进行数据解析...')
  # 以下解析操作


tasks = []
for url in urls:
  c = get_pageText(url)
  task = asyncio.ensure_future(c)
  # 给任务对象绑定回调函数用于数据解析
  task.add_done_callback(parse)
  tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用grappelli为django admin后台添加模板
Nov 18 Python
Python判断字符串与大小写转换
Jun 08 Python
Python素数检测实例分析
Jun 15 Python
Python的装饰器使用详解
Jun 26 Python
解决pip install xxx报错SyntaxError: invalid syntax的问题
Nov 30 Python
python合并已经存在的sheet数据到新sheet的方法
Dec 11 Python
Python根据成绩分析系统浅析
Feb 11 Python
运用Python的webbrowser实现定时打开特定网页
Feb 21 Python
Django 实现图片上传和显示过程详解
Jul 18 Python
python 动态调用函数实例解析
Oct 21 Python
Matplotlib使用Cursor实现UI定位的示例代码
Mar 12 Python
python 列表推导和生成器表达式的使用
Feb 01 Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
python numpy存取文件的方式
Apr 01 #Python
100行Python代码实现每天不同时间段定时给女友发消息
Sep 27 #Python
使用Fabric自动化部署Django项目的实现
Sep 27 #Python
You might like
PHP使用mysql_fetch_object从查询结果中获取对象集的方法
2015/03/18 PHP
Codeigniter检测表单post数据的方法
2015/03/21 PHP
浅谈本地WAMP环境的搭建
2015/05/13 PHP
js压缩工具 yuicompressor 使用教程
2010/03/31 Javascript
google 搜索框添加关键字实现代码
2010/04/24 Javascript
JavaScript中检测变量是否存在遇到的一些问题
2013/11/11 Javascript
构造函数+原型模式构造js自定义对象(最通用)
2014/05/12 Javascript
使用AngularJS制作一个简单的RSS阅读器的教程
2015/06/18 Javascript
扩展Bootstrap Tooltip插件使其可交互的方法
2016/11/07 Javascript
jQuery Validate插件自定义验证规则的方法
2016/12/27 Javascript
AngularJS表单提交实例详解
2017/02/18 Javascript
SpringBoot+Vue前后端分离,使用SpringSecurity完美处理权限问题的解决方法
2018/01/09 Javascript
小程序tab页无法传递参数的方法
2018/08/03 Javascript
bootstrap select2插件用ajax来获取和显示数据的实例
2018/08/09 Javascript
Makefile/cmake/node-gyp中区分判断不同平台的方法
2018/12/18 Javascript
JavaScript实现的拼图算法分析
2019/02/13 Javascript
js微信分享接口调用详解
2019/07/23 Javascript
layui 富文本赋值,取值,取纯文本值的实例
2019/09/18 Javascript
Vue-CLI与Vuex使用方法实例分析
2020/01/06 Javascript
Vue.js中Line第三方登录api的实现代码
2020/06/29 Javascript
[01:16]2014DOTA2 TI专访C9战队EE:中国五强中会占三席
2014/07/10 DOTA
[05:29]2014DOTA2国际邀请赛 赛后专访:LGDNewbee顺利过关
2014/07/13 DOTA
python 字符串split的用法分享
2013/03/23 Python
详解Python 模拟实现生产者消费者模式的实例
2017/08/10 Python
Python编程把二叉树打印成多行代码
2018/01/04 Python
Django打印出在数据库中执行的语句问题
2019/07/25 Python
python可以用哪些数据库
2020/06/22 Python
澳大利亚儿童和婴儿产品在线商店:Lime Tree Kids
2017/10/05 全球购物
Tod’s英国官方网站:意大利奢华手工制作手袋和鞋履
2019/03/15 全球购物
Python是如何进行类型转换的
2013/06/09 面试题
远程研修随笔感言
2014/02/10 职场文书
意外伤害赔偿协议书范文
2014/09/23 职场文书
兵马俑导游词
2015/02/02 职场文书
违纪学生保证书
2015/02/27 职场文书
公司仓库管理制度
2015/08/04 职场文书
JS Object构造函数之Object.freeze
2021/04/28 Javascript