简单介绍Python的Tornado框架中的协程异步实现原理


Posted in Python onApril 23, 2015

Tornado 4.0 已经发布了很长一段时间了, 新版本广泛的应用了协程(Future)特性. 我们目前已经将 Tornado 升级到最新版本, 而且也大量的使用协程特性.

很长时间没有更新博客, 今天就简单介绍下 Tornado 协程实现原理, Tornado 的协程是基于 Python 的生成器实现的, 所以首先来回顾下生成器.
生成器

Python 的生成器可以保存执行状态 并在下次调用的时候恢复, 通过在函数体内使用 yield 关键字 来创建一个生成器, 通过内置函数 next 或生成器的 next 方法来恢复生成器的状态.

def test():
  yield 1

我们调用 test 函数, 此时并不会返回结果, 而是会返回一个生成器

>>> test()
<generator object test at 0x100b3b320>

我们调用其 next 方法则返回 yield 关键字之后的内容.

>>> t = test()
>>> t.next()
1

如果我们接着调用 next 方法, 后面又没有 yield 关键字继续返回的话, 会抛出一个 StopIteration 异常.

yield 关键字不仅仅能从生成器内部返回状态, 同时也可以将外部信息传递到生成器内部, 通过将 yeild 关键里赋值给变量, 并调用生成器的 send 方法来将对象传递到生成器 内部. 需要注意的是生成器的开始必须调用其 next 方法, 后面 send 方法调用的同时 也会触发 next 动作. 如果没有变量接收 yield 关键字那么 send 传递的值将会 被丢弃.

>>> def test():
  a = yield
  print(a)

首先调用 next 上面函数返回的生成器将返回 None, 如果这时候直接调用 next 将 会给生成器发送 None, 如果调用 send 发送一个值, 将打印这个值并抛出 StopIteration 异常.
一个简单地协程

以上就是实现协程的所有基础, 为了加深理解, 我们这里写一个小例子, 例子我们只使用协程 开启两个甚至多个死循环, 下面就是一个极其简单地例子::

#!/usr/bin/env python
# -*- coding:utf-8 -*-
from __future__ import absolute_import, print_function, division, with_statement

def loop1():
  """ 循环1负责抛出一个函数和对应的参数, 并接收结果
  """
  a = 0
  ret = 1
  while True:
    ret = yield sum, [a, ret]
    a, ret = ret, a
    print("Loop1 ret", ret)
def loop2():
  """ 循环2 负责接收函数并计算结果, 然后 yield 出结果
  """
  while True:
    func, args = yield
    yield func(args)
    print("Loop2")


l1 = loop1()
l2 = loop2()
tmp = l1.next()

for i in range(10):
  l2.next()
  ret = l2.send(tmp)
  tmp = l1.send(ret)

上面例子里 loop1 负责产生任务, loop2 负责执行任务, 主循环负责调度任务并将任务结果发回给 任务产生者.
Tornado 如何做的

我们首先看一个使用 Tornado 协程异步的例子

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from __future__ import absolute_import, print_function, division, with_statement

from tornado import gen
from tornado import web
from tornado import httpclient


class ActionHandler(web.RequestHandler):

  @gen.coroutine
  def get(self):
    response = yield httpclient.AsyncHTTPClient().fetch("http://www.linuxzen.com")

    # ...

其实原理在上面简单地例子里已经讲清楚了, 我们来简单分析一遍上面的例子, 首先 Tornado 得到 ActionHandler.get 方法抛出(next)的一个任务, 然后异步的去执行任务, 当任务(网络请求)结束或 异常时 Tornado 取得事件通知然后将结果放回(send)到该方法中让该方法继续执行.

由于是异步的, 调用这个方法并不会阻塞其他任务执行.

这时候我们的方法其实就是上个例子 loop1 函数, 而 Tornado 调度并执行了其抛出的任务.
总结

Tornado 的协程异步可以让异步看起来是顺序执行的, 可以从一大串的 callback 中解脱出来.

Tornado 的协程异步并不是这三言两语能说清楚的, 其中有很复杂的封装和传递, 有兴趣可以自己 阅读源码.

Python 相关文章推荐
Python MD5文件生成码
Jan 12 Python
小小聊天室Python代码实现
Aug 17 Python
Python 正则表达式实现计算器功能
Apr 29 Python
Python实现简单的语音识别系统
Dec 13 Python
python读文件保存到字典,修改字典并写入新文件的实例
Apr 23 Python
Python Pywavelet 小波阈值实例
Jan 09 Python
Python-接口开发入门解析
Aug 01 Python
python框架flask入门之环境搭建及开启调试
Jun 07 Python
Python Merge函数原理及用法解析
Sep 16 Python
用pushplus+python监控亚马逊到货动态推送微信
Jan 29 Python
python实现简单的名片管理系统
Apr 26 Python
Python OpenCV超详细讲解调整大小与图像操作的实现
Apr 02 Python
解决Python中由于logging模块误用导致的内存泄露
Apr 23 #Python
粗略分析Python中的内存泄漏
Apr 23 #Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 #Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 #Python
在Python的Bottle框架中使用微信API的示例
Apr 23 #Python
最基础的Python的socket编程入门教程
Apr 23 #Python
利用Python实现简单的相似图片搜索的教程
Apr 23 #Python
You might like
thinkphp区间查询、统计查询与SQL直接查询实例分析
2014/11/24 PHP
javascript js cookie的存储,获取和删除
2007/12/29 Javascript
js静态方法与实例方法分析
2011/07/04 Javascript
解析jQuery的三种bind/One/Live事件绑定使用方法
2013/12/30 Javascript
AngularJs bootstrap搭载前台框架——基础页面
2016/09/01 Javascript
微信小程序 教程之列表渲染
2016/10/18 Javascript
Json按某个键的值进行排序
2016/12/22 Javascript
jQuery实现radio第一次点击选中第二次点击取消功能
2017/05/15 jQuery
vue实现点击关注后及时更新列表功能
2018/06/26 Javascript
vue工程全局设置ajax的等待动效的方法
2019/02/22 Javascript
微信小程序BindTap快速连续点击目标页面跳转多次问题处理
2019/04/08 Javascript
vue中$refs, $emit, $on, $once, $off的使用详解
2019/05/26 Javascript
Vue CLI3基础学习之pages构建多页应用
2019/06/02 Javascript
解决使用layui的时候form表单中的select等不能渲染的问题
2019/09/18 Javascript
BootstrapValidator验证用户名已存在(ajax)
2019/11/08 Javascript
基于vue-cli3+typescript的tsx开发模板搭建过程分享
2020/02/28 Javascript
Node.js API详解之 Error模块用法实例分析
2020/05/14 Javascript
浅谈Python2.6和Python3.0中八进制数字表示的区别
2017/04/28 Python
Python三级菜单的实例
2017/09/13 Python
python 实现数组list 添加、修改、删除的方法
2018/04/04 Python
python 实现视频流下载保存MP4的方法
2019/01/09 Python
Win10 安装PyCharm2019.1.1(图文教程)
2019/09/29 Python
python3中pip3安装出错,找不到SSL的解决方式
2019/12/12 Python
python 插入日期数据到Oracle实例
2020/03/02 Python
Python如何操作office实现自动化及win32com.client的运用
2020/04/01 Python
Python基于jieba, wordcloud库生成中文词云
2020/05/13 Python
Python实现数字的格式化输出
2020/08/01 Python
HTML5触摸事件实现移动端简易进度条的实现方法
2018/05/04 HTML / CSS
设计师珠宝:Ylang 23
2018/05/11 全球购物
ALDO加拿大官网:加拿大女鞋品牌
2018/12/22 全球购物
公司离职证明范本
2014/01/13 职场文书
本科生职业生涯规划书范文
2014/01/21 职场文书
作风年建设汇报材料
2014/08/14 职场文书
《改造我们的学习》心得体会
2014/11/07 职场文书
Nginx解决403 forbidden的完整步骤
2021/04/01 Servers
python 如何在list中找Topk的数值和索引
2021/05/20 Python