python 单线程和异步协程工作方式解析


Posted in Python onSeptember 28, 2019

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO【HTTP连接就是网络IO操作】),实现应用程序级别的切换(异步IO)。注意:asyncio只能发tcp级别的请求,不能发http协议。

 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

实现方式:单线程+协程实现异步IO操作。

异步协程用法

接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了 async/await,使得协程的实现更加方便。首先我们需要了解下面几个概念:

  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。
  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。其中,async 定义一个协程,await 用来挂起阻塞方法的执行。

1.定义一个协程

示例:

from time import sleep
import asyncio

async def request(url):
  print('正在请求url')
  sleep(2)
  print('下载成功')

# 返回一个特殊的协程对象,request函数内部不会被执行
c = request('www.baidu.com')

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 基于事件循环对象创建一个任务对象,并将协程对象封装到该对象中
task = loop.create_task(c)

# 另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)

# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
# 当事件循环对象内的第一个参数遇到阻塞是,就会自动执行后面的对象,当第一个对象的阻塞结束是会上报给事件循环对象,然后事件循环对象继续执行第一个对象,从而达到异步的效果
loop.run_until_complete(task)

2.给任务对象绑定回调

import asyncio

async def request(url):
  print('正在请求url')
  print('下载成功')
  return url

# 回调函数必须有一个参数:task【任务对象】
# task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callback(task):
  print('this is callback')
  print(task.result())

c = request('www.baidu.com')
# 创建一个任务对象
task = asyncio.ensure_future(c)
# 给任务对象绑定一个回调函数
task.add_done_callback(callback)
# 实例化一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
loop.run_until_complete(task)

3.多任务异步协程

import asyncio
import time

urls = ['www.baidu.com','www.sogou,com','www.goubanjia.com']
start_time = time.time()
async def request(url):
  print('正在请求url')
  # 在多任务异步协程事项中,不可以出现不支持异步的相关代码,sleep不支持
  # sleep(2)
  await asyncio.sleep(2)
  print('下载成功')

loop = asyncio.get_event_loop()
# 任务列表:防止多个任务对象
tasks = []
for url in urls:
  c = request(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)

loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

4.多异步任务协程应用

# aiohttp:支持异步的一个基于网络请求的模块
import aiohttp
import asyncio
import time

urls = ['http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',]

start_time = time.time()

async def get_pageText(url):
  async with aiohttp.ClientSession() as s:# 实例化请求对象
    async with await s.get(url) as response:
      page_text = await response.text()
      print(page_text)
      # 这里有返回值,是因为要用回调函数进行数据解析
      return page_text

# 封装回调函数用于数据解析
def parse(task):
  # 1.获取相应数据
  page_text = task.reault()
  print(page_text+',即将进行数据解析...')
  # 以下解析操作


tasks = []
for url in urls:
  c = get_pageText(url)
  task = asyncio.ensure_future(c)
  # 给任务对象绑定回调函数用于数据解析
  task.add_done_callback(parse)
  tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python高级应用实例对比:高效计算大文件中的最长行的长度
Jun 08 Python
Python实现配置文件备份的方法
Jul 30 Python
详解Python中的from..import绝对导入语句
Jun 21 Python
python实现BackPropagation算法
Dec 14 Python
详解Python if-elif-else知识点
Jun 11 Python
基于Python安装pyecharts所遇的问题及解决方法
Aug 12 Python
详解Python并发编程之从性能角度来初探并发编程
Aug 23 Python
在django admin详情表单显示中添加自定义控件的实现
Mar 11 Python
django配置app中的静态文件步骤
Mar 27 Python
使用python实现CGI环境搭建过程解析
Apr 28 Python
pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)
May 09 Python
浅析python中特殊文件和特殊函数
Feb 24 Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
python numpy存取文件的方式
Apr 01 #Python
100行Python代码实现每天不同时间段定时给女友发消息
Sep 27 #Python
使用Fabric自动化部署Django项目的实现
Sep 27 #Python
You might like
PHP防范SQL注入的具体方法详解(测试通过)
2014/05/09 PHP
PHP设计模式之装饰器模式定义与用法详解
2018/04/02 PHP
Laravel框架模板继承操作示例
2018/06/11 PHP
JavaScript学习点滴 call、apply的区别
2010/10/22 Javascript
javascript数组操作(创建、元素删除、数组的拷贝)
2014/04/07 Javascript
jQuery中:nth-child选择器用法实例
2014/12/31 Javascript
Javascript实现div的toggle效果实例分析
2015/06/09 Javascript
jQuery语法小结(超实用)
2015/12/31 Javascript
有关jQuery中parent()和siblings()的小问题
2016/06/01 Javascript
jQuery+css实现非常漂亮的水平导航菜单效果
2016/07/27 Javascript
javascript函数中的3个高级技巧
2016/09/22 Javascript
AngularJS中directive指令使用之事件绑定与指令交互用法示例
2016/11/22 Javascript
jquery删除数组中重复元素
2016/12/05 Javascript
es6学习之解构时应该注意的点
2017/08/29 Javascript
微信小程序基于canvas渐变实现的彩虹效果示例
2019/05/03 Javascript
JavaScript自动生成 年月范围 选择功能完整示例【基于jQuery插件】
2019/09/03 jQuery
p5.js实现简单货车运动动画
2019/10/23 Javascript
JS寄快递地址智能解析的实现代码
2020/07/16 Javascript
[42:20]Winstrike vs VGJ.S 2018国际邀请赛淘汰赛BO3 第二场 8.23
2018/08/24 DOTA
Python中使用logging模块代替print(logging简明指南)
2014/07/09 Python
Python列表append和+的区别浅析
2015/02/02 Python
通过python3实现投票功能代码实例
2019/09/26 Python
python通过SSH登陆linux并操作的实现
2019/10/10 Python
python单例模式原理与创建方法实例分析
2019/10/26 Python
flask框架配置mysql数据库操作详解
2019/11/29 Python
如何查看Django ORM执行的SQL语句的实现
2020/04/20 Python
利用python下载scihub成文献为PDF操作
2020/07/09 Python
python 从list中随机取值的方法
2020/11/16 Python
Big Green Smile德国网上商店:提供各种天然产品
2018/05/23 全球购物
剪枝的学问教学反思
2014/02/07 职场文书
《争吵》教学反思
2014/02/15 职场文书
法律系毕业生求职信
2014/05/28 职场文书
作弊检讨书
2015/01/27 职场文书
大学团日活动总结书
2015/05/11 职场文书
Python手拉手教你爬取贝壳房源数据的实战教程
2021/05/21 Python
Mysql 设置boolean类型的操作
2021/06/04 MySQL