python 单线程和异步协程工作方式解析


Posted in Python onSeptember 28, 2019

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO【HTTP连接就是网络IO操作】),实现应用程序级别的切换(异步IO)。注意:asyncio只能发tcp级别的请求,不能发http协议。

 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

实现方式:单线程+协程实现异步IO操作。

异步协程用法

接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了 async/await,使得协程的实现更加方便。首先我们需要了解下面几个概念:

  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。
  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。其中,async 定义一个协程,await 用来挂起阻塞方法的执行。

1.定义一个协程

示例:

from time import sleep
import asyncio

async def request(url):
  print('正在请求url')
  sleep(2)
  print('下载成功')

# 返回一个特殊的协程对象,request函数内部不会被执行
c = request('www.baidu.com')

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 基于事件循环对象创建一个任务对象,并将协程对象封装到该对象中
task = loop.create_task(c)

# 另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)

# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
# 当事件循环对象内的第一个参数遇到阻塞是,就会自动执行后面的对象,当第一个对象的阻塞结束是会上报给事件循环对象,然后事件循环对象继续执行第一个对象,从而达到异步的效果
loop.run_until_complete(task)

2.给任务对象绑定回调

import asyncio

async def request(url):
  print('正在请求url')
  print('下载成功')
  return url

# 回调函数必须有一个参数:task【任务对象】
# task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callback(task):
  print('this is callback')
  print(task.result())

c = request('www.baidu.com')
# 创建一个任务对象
task = asyncio.ensure_future(c)
# 给任务对象绑定一个回调函数
task.add_done_callback(callback)
# 实例化一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
loop.run_until_complete(task)

3.多任务异步协程

import asyncio
import time

urls = ['www.baidu.com','www.sogou,com','www.goubanjia.com']
start_time = time.time()
async def request(url):
  print('正在请求url')
  # 在多任务异步协程事项中,不可以出现不支持异步的相关代码,sleep不支持
  # sleep(2)
  await asyncio.sleep(2)
  print('下载成功')

loop = asyncio.get_event_loop()
# 任务列表:防止多个任务对象
tasks = []
for url in urls:
  c = request(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)

loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

4.多异步任务协程应用

# aiohttp:支持异步的一个基于网络请求的模块
import aiohttp
import asyncio
import time

urls = ['http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',]

start_time = time.time()

async def get_pageText(url):
  async with aiohttp.ClientSession() as s:# 实例化请求对象
    async with await s.get(url) as response:
      page_text = await response.text()
      print(page_text)
      # 这里有返回值,是因为要用回调函数进行数据解析
      return page_text

# 封装回调函数用于数据解析
def parse(task):
  # 1.获取相应数据
  page_text = task.reault()
  print(page_text+',即将进行数据解析...')
  # 以下解析操作


tasks = []
for url in urls:
  c = get_pageText(url)
  task = asyncio.ensure_future(c)
  # 给任务对象绑定回调函数用于数据解析
  task.add_done_callback(parse)
  tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python获取远程文件大小的函数代码分享
May 13 Python
Python使用MySQLdb for Python操作数据库教程
Oct 11 Python
Python使用bs4获取58同城城市分类的方法
Jul 08 Python
用Python删除本地目录下某一时间点之前创建的所有文件的实例
Dec 14 Python
Python实现的rsa加密算法详解
Jan 24 Python
python hough变换检测直线的实现方法
Jul 12 Python
python3 下载网络图片代码实例
Aug 27 Python
python3的UnicodeDecodeError解决方法
Dec 20 Python
Django框架配置mysql数据库实现过程
Apr 22 Python
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
Aug 05 Python
python利用appium实现手机APP自动化的示例
Jan 26 Python
Python爬虫中urllib3与urllib的区别是什么
Jul 21 Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
python numpy存取文件的方式
Apr 01 #Python
100行Python代码实现每天不同时间段定时给女友发消息
Sep 27 #Python
使用Fabric自动化部署Django项目的实现
Sep 27 #Python
You might like
php环境配置 php5 mysql5 apache2 phpmyadmin安装与配置
2006/11/17 PHP
php 调用远程url的六种方法小结
2009/11/02 PHP
有关phpmailer的详细介绍及使用方法
2013/01/28 PHP
php中让人头疼的浮点数运算分析
2016/10/10 PHP
php封装一个异常的处理类
2017/06/08 PHP
会自动逐行上升的文本框
2006/06/30 Javascript
添加JavaScript重载函数的辅助方法2
2010/07/04 Javascript
js focus不起作用的解决方法(主要是因为dom元素是否加载完成)
2010/11/05 Javascript
Javascript insertAfter() 实现函数代码
2011/10/12 Javascript
三种取消选中单选框radio的方法
2014/09/09 Javascript
Node.js中的缓冲与流模块详细介绍
2015/02/11 Javascript
利用nginx + node在阿里云部署https的步骤详解
2017/12/19 Javascript
nodejs基于WS模块实现WebSocket聊天功能的方法
2018/01/12 NodeJs
vue2.0在没有dev-server.js下的本地数据配置方法
2018/02/23 Javascript
angular4自定义组件非input元素实现ngModel双向数据绑定的方法
2018/12/28 Javascript
详解vue+axios给开发环境和生产环境配置不同的接口地址
2019/08/16 Javascript
[02:40]2018年度DOTA2最佳新人-完美盛典
2018/12/16 DOTA
详解python发送各类邮件的主要方法
2016/12/22 Python
Python线程指南详细介绍
2017/01/05 Python
Python3 执行系统命令并获取实时回显功能
2019/07/09 Python
Python中的相关分析correlation analysis的实现
2019/08/29 Python
开启Django博客的RSS功能的实现方法
2020/02/17 Python
Python创建自己的加密货币的示例
2021/03/01 Python
三陽商会官方网站:Sanyo iStore
2019/05/15 全球购物
教师岗位职责范本
2013/12/29 职场文书
高中生家长会演讲稿
2014/01/14 职场文书
总经理工作职责范文
2014/03/14 职场文书
公证委托书模板
2014/04/03 职场文书
解放思想大讨论活动心得体会
2014/09/11 职场文书
房屋授权委托书范本
2014/10/07 职场文书
2014年前台文员工作总结
2014/12/08 职场文书
碧霞祠导游词
2015/02/09 职场文书
出国留学英文自荐信
2015/03/25 职场文书
2015年图书馆个人工作总结
2015/05/26 职场文书
2015年思想品德教学工作总结
2015/07/22 职场文书
商业计划书范文
2019/04/24 职场文书