python 单线程和异步协程工作方式解析


Posted in Python onSeptember 28, 2019

在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO【HTTP连接就是网络IO操作】),实现应用程序级别的切换(异步IO)。注意:asyncio只能发tcp级别的请求,不能发http协议。

 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知。

实现方式:单线程+协程实现异步IO操作。

异步协程用法

接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概念,但这个版本的协程还是以生成器对象为基础的,在 Python 3.5 则增加了 async/await,使得协程的实现更加方便。首先我们需要了解下面几个概念:

  • event_loop:事件循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足条件发生的时候,就会调用对应的处理方法。
  • coroutine:中文翻译叫协程,在 Python 中常指代为协程对象类型,我们可以将协程对象注册到时间循环中,它会被事件循环调用。我们可以使用 async 关键字来定义一个方法,这个方法在调用时不会立即被执行,而是返回一个协程对象。
  • task:任务,它是对协程对象的进一步封装,包含了任务的各个状态。
  • future:代表将来执行或没有执行的任务的结果,实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字,它是从 Python 3.5 才出现的,专门用于定义协程。其中,async 定义一个协程,await 用来挂起阻塞方法的执行。

1.定义一个协程

示例:

from time import sleep
import asyncio

async def request(url):
  print('正在请求url')
  sleep(2)
  print('下载成功')

# 返回一个特殊的协程对象,request函数内部不会被执行
c = request('www.baidu.com')

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 基于事件循环对象创建一个任务对象,并将协程对象封装到该对象中
task = loop.create_task(c)

# 另一种形式实例化任务对象的方法
task = asyncio.ensure_future(c)

# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
# 当事件循环对象内的第一个参数遇到阻塞是,就会自动执行后面的对象,当第一个对象的阻塞结束是会上报给事件循环对象,然后事件循环对象继续执行第一个对象,从而达到异步的效果
loop.run_until_complete(task)

2.给任务对象绑定回调

import asyncio

async def request(url):
  print('正在请求url')
  print('下载成功')
  return url

# 回调函数必须有一个参数:task【任务对象】
# task.result():任务对象中封装的协程对象对应的特殊函数内部的返回值
def callback(task):
  print('this is callback')
  print(task.result())

c = request('www.baidu.com')
# 创建一个任务对象
task = asyncio.ensure_future(c)
# 给任务对象绑定一个回调函数
task.add_done_callback(callback)
# 实例化一个事件循环对象
loop = asyncio.get_event_loop()
# 将协程对象注册到事件循环对象中,并需要启动事件循环对象
loop.run_until_complete(task)

3.多任务异步协程

import asyncio
import time

urls = ['www.baidu.com','www.sogou,com','www.goubanjia.com']
start_time = time.time()
async def request(url):
  print('正在请求url')
  # 在多任务异步协程事项中,不可以出现不支持异步的相关代码,sleep不支持
  # sleep(2)
  await asyncio.sleep(2)
  print('下载成功')

loop = asyncio.get_event_loop()
# 任务列表:防止多个任务对象
tasks = []
for url in urls:
  c = request(url)
  task = asyncio.ensure_future(c)
  tasks.append(task)

loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

4.多异步任务协程应用

# aiohttp:支持异步的一个基于网络请求的模块
import aiohttp
import asyncio
import time

urls = ['http://127.0.0.1:5000/jay',
    'http://127.0.0.1:5000/bobo',
    'http://127.0.0.1:5000/tom',]

start_time = time.time()

async def get_pageText(url):
  async with aiohttp.ClientSession() as s:# 实例化请求对象
    async with await s.get(url) as response:
      page_text = await response.text()
      print(page_text)
      # 这里有返回值,是因为要用回调函数进行数据解析
      return page_text

# 封装回调函数用于数据解析
def parse(task):
  # 1.获取相应数据
  page_text = task.reault()
  print(page_text+',即将进行数据解析...')
  # 以下解析操作


tasks = []
for url in urls:
  c = get_pageText(url)
  task = asyncio.ensure_future(c)
  # 给任务对象绑定回调函数用于数据解析
  task.add_done_callback(parse)
  tasks.append(task)

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))
print(time.time() - start_time)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python遍历文件夹并删除特定格式文件的示例
Mar 05 Python
python实现查询苹果手机维修进度
Mar 16 Python
分析用Python脚本关闭文件操作的机制
Jun 28 Python
Python使用QRCode模块生成二维码实例详解
Jun 14 Python
Python3 Random模块代码详解
Dec 04 Python
快速排序的四种python实现(推荐)
Apr 03 Python
python实现名片管理系统项目
Apr 26 Python
给你一面国旗 教你用python画中国国旗
Sep 24 Python
Python自动化完成tb喵币任务的操作方法
Oct 30 Python
python连接PostgreSQL过程解析
Feb 09 Python
pytorch 多分类问题,计算百分比操作
Jul 09 Python
详解Python中的for循环
Apr 30 Python
python爬虫 正则表达式解析
Sep 28 #Python
python爬虫 Pyppeteer使用方法解析
Sep 28 #Python
python安装scipy的步骤解析
Sep 28 #Python
python网络爬虫 CrawlSpider使用详解
Sep 27 #Python
python numpy存取文件的方式
Apr 01 #Python
100行Python代码实现每天不同时间段定时给女友发消息
Sep 27 #Python
使用Fabric自动化部署Django项目的实现
Sep 27 #Python
You might like
PHP n个不重复的随机数生成代码
2009/06/23 PHP
解决Codeigniter不能上传rar和zip压缩包问题
2014/03/07 PHP
Zend Framework实现将session存储在memcache中的方法
2016/03/22 PHP
wordpress网站转移到本地运行测试的方法
2017/03/15 PHP
PHP面向对象程序设计之对象克隆clone和魔术方法__clone()用法分析
2019/06/12 PHP
onpropertypchange
2006/07/01 Javascript
js中关于String对象的replace使用详解
2011/05/24 Javascript
JavaScript 变量作用域分析
2011/07/04 Javascript
当鼠标移动时出现特效的JQuery代码
2013/11/08 Javascript
简体中文转换繁体中文(实现代码)
2013/12/25 Javascript
jquery根据属性和index来查找属性值并操作
2014/07/25 Javascript
基于JavaScript实现仿京东图片轮播效果
2015/11/06 Javascript
纯JavaScript基于notie.js插件实现消息提示特效
2016/01/18 Javascript
jquery实现静态搜索功能(可输入搜索文字)
2017/03/28 jQuery
AngularJS 单选框及多选框的双向动态绑定
2017/04/20 Javascript
AngularJS实时获取并显示密码的方法
2018/02/06 Javascript
三分钟学会用ES7中的Async/Await进行异步编程
2018/06/14 Javascript
vue.js通过路由实现经典的三栏布局实例代码
2018/07/08 Javascript
vue 右键菜单插件 简单、可扩展、样式自定义的右键菜单
2018/11/29 Javascript
nodejs 使用 js 模块的方法实例详解
2018/12/04 NodeJs
JavaScript基于面向对象实现的无缝滚动轮播示例
2020/01/17 Javascript
Vue实现附件上传功能
2020/05/28 Javascript
Python模拟百度登录实例详解
2016/01/20 Python
python判断数字是否是超级素数幂
2018/09/27 Python
Python的缺点和劣势分析
2019/11/19 Python
Python实现大数据收集至excel的思路详解
2020/01/03 Python
浅谈pandas dataframe对除数是零的处理
2020/07/20 Python
Python Pandas数据分析工具用法实例
2020/11/05 Python
Speedo美国:澳大利亚顶尖泳衣制造商
2016/08/03 全球购物
完美实现CSS垂直居中的11种方法
2021/03/27 HTML / CSS
工业自动化专业自荐信范文
2014/04/10 职场文书
法定代表人资格证明书
2014/09/11 职场文书
销售人员工作自我评价
2014/09/21 职场文书
干部作风建设工作总结
2014/10/29 职场文书
Python竟然能剪辑视频
2021/05/25 Python
Redis RDB技术底层原理详解
2021/09/04 Redis