Python中使用asyncio 封装文件读写


Posted in Python onSeptember 11, 2016

前言

和网络 IO 一样,文件读写同样是一个费事的操作。

默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了

f = file('xx')
f.read()

会阻塞事件循环。

本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。

代码在 GitHub。目前仅支持 Linux。

阻塞和非阻塞

首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。

阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。

flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) 
if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: 
  raise OSError()

Future 对象

Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用

result = await future

在 future 得到值之后返回。而使用

future.set_result(xxx)

就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。

loop.call_soon

通过 loop.call_soon 方法可以将一个函数插入到事件循环中。

至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。

可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。

下面是这一过程的示意代码。

def read_step(self, future, n, total):
  res = self.fd.read(n)
  if res is None:
    self.loop.call_soon(self.read_step, future, n, total)
    return
  if not res: # EOF
    future.set_result(bytes(self.rbuffer))
    return
  self.rbuffer.extend(res)
  self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total)

def read(self, n=-1):
  future = asyncio.Future(loop=self.loop)

  self.rbuffer.clear()
  self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n)

  return future
Python 相关文章推荐
python写入xml文件的方法
May 08 Python
Python中map,reduce,filter和sorted函数的使用方法
Aug 17 Python
python正向最大匹配分词和逆向最大匹配分词的实例
Nov 14 Python
python+pyqt5实现24点小游戏
Jan 24 Python
python+pyqt5实现图片批量缩放工具
Mar 18 Python
详解Python使用Plotly绘图工具,绘制甘特图
Apr 02 Python
Python2与Python3的区别实例总结
Apr 17 Python
Python3实现汉语转换为汉语拼音
Jul 08 Python
利用Python模拟登录pastebin.com的实现方法
Jul 12 Python
python多线程+代理池爬取天天基金网、股票数据过程解析
Aug 13 Python
python之语音识别speech模块
Sep 09 Python
matlab xlabel位置的设置方式
May 21 Python
Python 如何访问外围作用域中的变量
Sep 11 #Python
Python优化技巧之利用ctypes提高执行速度
Sep 11 #Python
Python 中的with关键字使用详解
Sep 11 #Python
Python冒泡排序注意要点实例详解
Sep 09 #Python
通过5个知识点轻松搞定Python的作用域
Sep 09 #Python
python验证码识别的实例详解
Sep 09 #Python
Python随机数random模块使用指南
Sep 09 #Python
You might like
利用ThinkPHP内置的ThinkAjax实现异步传输技术的实现方法
2011/12/19 PHP
ThinkPHP3.1新特性之对Ajax的支持更加完善
2014/06/19 PHP
[原创]php获取数组中键值最大数组项的索引值
2015/03/17 PHP
php采集中国代理服务器网的方法
2015/06/16 PHP
Zend Framework教程之Autoloading用法详解
2016/03/08 PHP
PHP封装curl的调用接口及常用函数详解
2018/05/31 PHP
tp5框架基于Ajax实现列表无刷新排序功能示例
2020/02/10 PHP
由浅到深了解JavaScript类
2006/09/08 Javascript
下载网站打开页面后间隔多少时间才显示下载链接地址的代码
2010/04/25 Javascript
避免回车键导致的页面无意义刷新的解决方法
2011/04/12 Javascript
基于jQuery的烟花效果(运动相关)点击屏幕出烟花
2012/06/14 Javascript
JS实现仿QQ面板的手风琴效果折叠菜单代码
2015/09/11 Javascript
JS使用cookie实现DIV提示框只显示一次的方法
2015/11/05 Javascript
Bootstrap每天必学之级联下拉菜单
2016/03/27 Javascript
jquery实现无刷新验证码的简单实例
2016/05/19 Javascript
jquery请求servlet实现ajax异步请求的示例
2017/06/03 jQuery
BootStrap给table表格的每一行添加一个按钮事件
2017/09/07 Javascript
vue 中directive功能的简单实现
2018/01/05 Javascript
前端插件之Bootstrap Dual Listbox使用教程
2019/07/23 Javascript
原生js代码能实现call和bind吗
2019/07/31 Javascript
vue实现pdf文档在线预览功能
2019/11/26 Javascript
js实现的订阅发布者模式简单示例
2020/03/14 Javascript
Python制作数据导入导出工具
2015/07/31 Python
Python中GIL的使用详解
2018/10/03 Python
使用pandas实现csv/excel sheet互相转换的方法
2018/12/10 Python
Python流行ORM框架sqlalchemy安装与使用教程
2019/06/04 Python
Pytorch中实现只导入部分模型参数的方式
2020/01/02 Python
Django media static外部访问Django中的图片设置教程
2020/04/07 Python
jupyter notebook 调用环境中的Keras或者pytorch教程
2020/04/14 Python
Python selenium使用autoIT上传附件过程详解
2020/05/26 Python
TensorFlow Autodiff自动微分详解
2020/07/06 Python
如何基于Python爬虫爬取美团酒店信息
2020/11/03 Python
利用html5的websocket实现websocket聊天室
2013/12/12 HTML / CSS
素质教育标语
2014/06/27 职场文书
高一课前三分钟演讲稿
2014/09/13 职场文书
2014年公务员退休工资改革方案
2014/10/01 职场文书