简单介绍Python的Tornado框架中的协程异步实现原理


Posted in Python onApril 23, 2015

Tornado 4.0 已经发布了很长一段时间了, 新版本广泛的应用了协程(Future)特性. 我们目前已经将 Tornado 升级到最新版本, 而且也大量的使用协程特性.

很长时间没有更新博客, 今天就简单介绍下 Tornado 协程实现原理, Tornado 的协程是基于 Python 的生成器实现的, 所以首先来回顾下生成器.
生成器

Python 的生成器可以保存执行状态 并在下次调用的时候恢复, 通过在函数体内使用 yield 关键字 来创建一个生成器, 通过内置函数 next 或生成器的 next 方法来恢复生成器的状态.

def test():
  yield 1

我们调用 test 函数, 此时并不会返回结果, 而是会返回一个生成器

>>> test()
<generator object test at 0x100b3b320>

我们调用其 next 方法则返回 yield 关键字之后的内容.

>>> t = test()
>>> t.next()
1

如果我们接着调用 next 方法, 后面又没有 yield 关键字继续返回的话, 会抛出一个 StopIteration 异常.

yield 关键字不仅仅能从生成器内部返回状态, 同时也可以将外部信息传递到生成器内部, 通过将 yeild 关键里赋值给变量, 并调用生成器的 send 方法来将对象传递到生成器 内部. 需要注意的是生成器的开始必须调用其 next 方法, 后面 send 方法调用的同时 也会触发 next 动作. 如果没有变量接收 yield 关键字那么 send 传递的值将会 被丢弃.

>>> def test():
  a = yield
  print(a)

首先调用 next 上面函数返回的生成器将返回 None, 如果这时候直接调用 next 将 会给生成器发送 None, 如果调用 send 发送一个值, 将打印这个值并抛出 StopIteration 异常.
一个简单地协程

以上就是实现协程的所有基础, 为了加深理解, 我们这里写一个小例子, 例子我们只使用协程 开启两个甚至多个死循环, 下面就是一个极其简单地例子::

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from __future__ import absolute_import, print_function, division, with_statement

def loop1():
  """ 循环1负责抛出一个函数和对应的参数, 并接收结果
  """
  a = 0
  ret = 1
  while True:
    ret = yield sum, [a, ret]
    a, ret = ret, a
    print("Loop1 ret", ret)
def loop2():
  """ 循环2 负责接收函数并计算结果, 然后 yield 出结果
  """
  while True:
    func, args = yield
    yield func(args)
    print("Loop2")


l1 = loop1()
l2 = loop2()
tmp = l1.next()

for i in range(10):
  l2.next()
  ret = l2.send(tmp)
  tmp = l1.send(ret)

上面例子里 loop1 负责产生任务, loop2 负责执行任务, 主循环负责调度任务并将任务结果发回给 任务产生者.
Tornado 如何做的

我们首先看一个使用 Tornado 协程异步的例子

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from __future__ import absolute_import, print_function, division, with_statement

from tornado import gen
from tornado import web
from tornado import httpclient


class ActionHandler(web.RequestHandler):

  @gen.coroutine
  def get(self):
    response = yield httpclient.AsyncHTTPClient().fetch("http://www.linuxzen.com")

    # ...

其实原理在上面简单地例子里已经讲清楚了, 我们来简单分析一遍上面的例子, 首先 Tornado 得到 ActionHandler.get 方法抛出(next)的一个任务, 然后异步的去执行任务, 当任务(网络请求)结束或 异常时 Tornado 取得事件通知然后将结果放回(send)到该方法中让该方法继续执行.

由于是异步的, 调用这个方法并不会阻塞其他任务执行.

这时候我们的方法其实就是上个例子 loop1 函数, 而 Tornado 调度并执行了其抛出的任务.
总结

Tornado 的协程异步可以让异步看起来是顺序执行的, 可以从一大串的 callback 中解脱出来.

Tornado 的协程异步并不是这三言两语能说清楚的, 其中有很复杂的封装和传递, 有兴趣可以自己 阅读源码.

Python 相关文章推荐
详解Python 数据库 (sqlite3)应用
Dec 07 Python
Python计算斗牛游戏概率算法实例分析
Sep 26 Python
Python 创建新文件时避免覆盖已有的同名文件的解决方法
Nov 16 Python
python 实现数字字符串左侧补零的方法
Dec 04 Python
python 数据提取及拆分的实现代码
Aug 26 Python
pyftplib中文乱码问题解决方案
Jan 11 Python
Python 自由定制表格的实现示例
Mar 20 Python
python如何利用Mitmproxy抓包
Oct 10 Python
pandas处理csv文件的方法步骤
Oct 16 Python
jupyter notebook 写代码自动补全的实现
Nov 02 Python
Python爬虫爬取ts碎片视频+验证码登录功能
Feb 22 Python
Django实现翻页的示例代码
May 24 Python
解决Python中由于logging模块误用导致的内存泄露
Apr 23 #Python
粗略分析Python中的内存泄漏
Apr 23 #Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 #Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 #Python
在Python的Bottle框架中使用微信API的示例
Apr 23 #Python
最基础的Python的socket编程入门教程
Apr 23 #Python
利用Python实现简单的相似图片搜索的教程
Apr 23 #Python
You might like
thinkphp路由规则使用示例详解和伪静态功能实现(apache重写)
2014/02/24 PHP
PHP+JQUERY操作JSON实例
2017/03/23 PHP
smarty模板的使用方法实例分析
2019/09/18 PHP
javascript 放大镜效果js组件 qsoft.PopBigImage.v0.35 加入了chrome支持
2009/04/07 Javascript
获取非最后一列td值并将title设为该值的方法
2013/10/30 Javascript
js中hash和ico的关联分析
2015/02/05 Javascript
js实现类似于add(1)(2)(3)调用方式的方法
2015/03/04 Javascript
jquery Validation表单验证使用详解
2020/09/12 Javascript
jQuery+css实现的tab切换标签(兼容各浏览器)
2016/01/28 Javascript
简单理解JavaScript中的封装与继承特性
2016/03/19 Javascript
Java遍历集合方法分析(实现原理、算法性能、适用场合)
2016/04/25 Javascript
JavaScript之事件委托实例(附原生js和jQuery代码)
2017/07/22 jQuery
从对象列表中获取一个对象的方法,依据关键字和值
2017/09/20 Javascript
jQuery实现点击旋转,再点击恢复初始状态动画效果示例
2018/12/11 jQuery
vue实现自定义H5视频播放器的方法步骤
2019/07/01 Javascript
Python中的rfind()方法使用详解
2015/05/19 Python
学习python之编写简单乘法口诀表实现代码
2016/02/27 Python
Python简单爬虫导出CSV文件的实例讲解
2018/07/06 Python
pandas DataFrame创建方法的方式
2019/08/02 Python
Python OpenCV实现鼠标画框效果
2020/08/19 Python
python3中rank函数的用法
2019/11/27 Python
Python 实现opencv所使用的图片格式与 base64 转换
2020/01/09 Python
使用Python获取当前工作目录和执行命令的位置
2020/03/09 Python
Python AutoCAD 系统设置的实现方法
2020/04/01 Python
Python 中由 yield 实现异步操作
2020/05/04 Python
使用python实现名片管理系统
2020/06/18 Python
彻底解决Python包下载慢问题
2020/11/15 Python
MANGO官方网站:西班牙芒果服装品牌
2017/01/15 全球购物
英国领先的在线高尔夫商店:Gamola Golf
2019/11/16 全球购物
大学生毕业自荐信
2013/10/10 职场文书
《跟踪台风的卫星》教学反思
2014/04/10 职场文书
旷工检讨书1000字
2015/01/01 职场文书
2015年后勤工作总结范文
2015/04/08 职场文书
行政撤诉申请书
2015/05/18 职场文书
golang 实现并发求和
2021/05/08 Golang
JavaScript 原型与原型链详情
2021/11/02 Javascript