简单介绍Python的Tornado框架中的协程异步实现原理


Posted in Python onApril 23, 2015

Tornado 4.0 已经发布了很长一段时间了, 新版本广泛的应用了协程(Future)特性. 我们目前已经将 Tornado 升级到最新版本, 而且也大量的使用协程特性.

很长时间没有更新博客, 今天就简单介绍下 Tornado 协程实现原理, Tornado 的协程是基于 Python 的生成器实现的, 所以首先来回顾下生成器.
生成器

Python 的生成器可以保存执行状态 并在下次调用的时候恢复, 通过在函数体内使用 yield 关键字 来创建一个生成器, 通过内置函数 next 或生成器的 next 方法来恢复生成器的状态.

def test():
  yield 1

我们调用 test 函数, 此时并不会返回结果, 而是会返回一个生成器

>>> test()
<generator object test at 0x100b3b320>

我们调用其 next 方法则返回 yield 关键字之后的内容.

>>> t = test()
>>> t.next()
1

如果我们接着调用 next 方法, 后面又没有 yield 关键字继续返回的话, 会抛出一个 StopIteration 异常.

yield 关键字不仅仅能从生成器内部返回状态, 同时也可以将外部信息传递到生成器内部, 通过将 yeild 关键里赋值给变量, 并调用生成器的 send 方法来将对象传递到生成器 内部. 需要注意的是生成器的开始必须调用其 next 方法, 后面 send 方法调用的同时 也会触发 next 动作. 如果没有变量接收 yield 关键字那么 send 传递的值将会 被丢弃.

>>> def test():
  a = yield
  print(a)

首先调用 next 上面函数返回的生成器将返回 None, 如果这时候直接调用 next 将 会给生成器发送 None, 如果调用 send 发送一个值, 将打印这个值并抛出 StopIteration 异常.
一个简单地协程

以上就是实现协程的所有基础, 为了加深理解, 我们这里写一个小例子, 例子我们只使用协程 开启两个甚至多个死循环, 下面就是一个极其简单地例子::

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from __future__ import absolute_import, print_function, division, with_statement

def loop1():
  """ 循环1负责抛出一个函数和对应的参数, 并接收结果
  """
  a = 0
  ret = 1
  while True:
    ret = yield sum, [a, ret]
    a, ret = ret, a
    print("Loop1 ret", ret)
def loop2():
  """ 循环2 负责接收函数并计算结果, 然后 yield 出结果
  """
  while True:
    func, args = yield
    yield func(args)
    print("Loop2")


l1 = loop1()
l2 = loop2()
tmp = l1.next()

for i in range(10):
  l2.next()
  ret = l2.send(tmp)
  tmp = l1.send(ret)

上面例子里 loop1 负责产生任务, loop2 负责执行任务, 主循环负责调度任务并将任务结果发回给 任务产生者.
Tornado 如何做的

我们首先看一个使用 Tornado 协程异步的例子

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from __future__ import absolute_import, print_function, division, with_statement

from tornado import gen
from tornado import web
from tornado import httpclient


class ActionHandler(web.RequestHandler):

  @gen.coroutine
  def get(self):
    response = yield httpclient.AsyncHTTPClient().fetch("http://www.linuxzen.com")

    # ...

其实原理在上面简单地例子里已经讲清楚了, 我们来简单分析一遍上面的例子, 首先 Tornado 得到 ActionHandler.get 方法抛出(next)的一个任务, 然后异步的去执行任务, 当任务(网络请求)结束或 异常时 Tornado 取得事件通知然后将结果放回(send)到该方法中让该方法继续执行.

由于是异步的, 调用这个方法并不会阻塞其他任务执行.

这时候我们的方法其实就是上个例子 loop1 函数, 而 Tornado 调度并执行了其抛出的任务.
总结

Tornado 的协程异步可以让异步看起来是顺序执行的, 可以从一大串的 callback 中解脱出来.

Tornado 的协程异步并不是这三言两语能说清楚的, 其中有很复杂的封装和传递, 有兴趣可以自己 阅读源码.

Python 相关文章推荐
Python常用库推荐
Dec 04 Python
python输入错误密码用户锁定实现方法
Nov 27 Python
python中将一个全部为int的list 转化为str的list方法
Apr 09 Python
python实现多张图片拼接成大图
Jan 15 Python
使用Flask-Cache缓存实现给Flask提速的方法详解
Jun 11 Python
详解python websocket获取实时数据的几种常见链接方式
Jul 01 Python
python如何爬取网站数据并进行数据可视化
Jul 08 Python
用python给自己做一款小说阅读器过程详解
Jul 11 Python
Python Pickle 实现在同一个文件中序列化多个对象
Dec 30 Python
PyTorch里面的torch.nn.Parameter()详解
Jan 03 Python
Python第三方库安装缓慢的解决方法
Feb 06 Python
Pygame游戏开发之太空射击实战敌人精灵篇
Aug 05 Python
解决Python中由于logging模块误用导致的内存泄露
Apr 23 #Python
粗略分析Python中的内存泄漏
Apr 23 #Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 #Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 #Python
在Python的Bottle框架中使用微信API的示例
Apr 23 #Python
最基础的Python的socket编程入门教程
Apr 23 #Python
利用Python实现简单的相似图片搜索的教程
Apr 23 #Python
You might like
php面向对象 字段的声明与使用
2012/06/14 PHP
深入理解PHP几个算法:PHP冒泡、PHP二分法、PHP求素数、PHP乘法表
2013/06/06 PHP
推荐10个提供免费PHP脚本下载的网站
2014/12/31 PHP
Laravel 5.3 学习笔记之 配置
2016/08/28 PHP
自制PHP框架之设计模式
2017/05/07 PHP
JS焦点图切换,上下翻转
2011/05/12 Javascript
10款非常有用的 Ajax 插件分享
2012/03/14 Javascript
JS判断浏览器是否支持某一个CSS3属性的方法
2014/10/17 Javascript
jQuery知识点整理
2015/01/30 Javascript
js脚本分页代码分享(7种样式)
2015/08/19 Javascript
JavaScript函数内部属性和函数方法实例详解
2016/03/17 Javascript
JS作为值的函数用法示例
2016/06/20 Javascript
AngularJS动态生成div的ID源码解析
2016/08/29 Javascript
详解网站中图片日常使用以及优化手法
2017/01/09 Javascript
react系列从零开始_简单谈谈react
2017/07/06 Javascript
React进阶学习之组件的解耦之道
2017/08/07 Javascript
AngularJS 实现购物车全选反选功能
2017/10/24 Javascript
vue2.0模拟锚点的实例
2018/03/14 Javascript
vue2.0使用v-for循环制作多级嵌套菜单栏
2018/06/25 Javascript
NodeJS 实现多语言的示例代码
2018/09/11 NodeJs
详解Nuxt.js中使用Element-UI填坑
2019/09/06 Javascript
在react-antd中弹出层form内容传递给父组件的操作
2020/10/24 Javascript
Python cookbook(数据结构与算法)筛选及提取序列中元素的方法
2018/03/19 Python
python批量处理文件或文件夹
2020/07/28 Python
基于Python计算圆周率pi代码实例
2020/03/25 Python
python中判断文件结束符的具体方法
2020/08/04 Python
python实现b站直播自动发送弹幕功能
2021/02/20 Python
Argos官网:英国家喻户晓的百货零售连锁商
2017/04/03 全球购物
特色蛋糕店创业计划书
2014/01/28 职场文书
高中微机老师自我鉴定
2014/02/16 职场文书
小学庆六一活动方案
2014/02/28 职场文书
公司股权转让协议书
2014/04/12 职场文书
篮球比赛策划方案
2014/06/05 职场文书
2014年建筑工程工作总结
2014/12/03 职场文书
民事撤诉申请书范本
2015/05/18 职场文书
行政处罚告知书
2015/07/01 职场文书