Python的Tornado框架异步编程入门实例


Posted in Python onApril 24, 2015

Tornado

Tornado 是一款非阻塞可扩展的使用Python编写的web服务器和Python Web框架, 可以使用Tornado编写Web程序并不依赖任何web服务器直接提供高效的web服务.所以Tornado不仅仅是一个web框架而且还是一款可以用于生产环境的高效的web服务器

Torando 在Linux和FreeBSD上使用高效的异步I/O模型 epoll 和kqueue来实现高效的web服务器, 所以 tornado在Linux上和FreeBSD系列性能可以达到最高
接口

当然我们可以不仅仅把Tornado看作是一个web框架和web服务器, 我们可以利用Tornado提供的接口进行高效的网络异步编程,

tornado.ioloop.IOLoop 提供了三个接口可以用于网络编程:

add_handler

def add_handler(self, fd, handler, events):
  self._handlers[fd] = stack_context.wrap(handler)
  self._impl.register(fd, events | self.ERROR)

add_handler用于添加socket到主循环中, 接受三个参数: fd 是socket的文件描述符 handler 是处理此socket的 callback函数 * events 是此socket注册的事件

update_handler

def update_handler(self, fd, events):
  self._impl.modify(fd, events | self.ERROR)

update_handler用于更新住循环中已存在的socket响应事件, 接受两个参数: fd 是socket对应的文件描述符 events 是注册的新事件

remove_handler

def remove_handler(self, fd):
  self._handlers.pop(fd, None)
  self._events.pop(fd, None)
  try:
    self._impl.unregister(fd)
  except Exception:
    gen_log.debug("Error deleting fd from IOLoop", exc_info=True)

remove_handler用于移除主循环中已存在的socket
事件

tornado.ioloop.IOLoop同时提供了4种响应事件:
Python的Tornado框架异步编程入门实例

实例

根据上面的接口和事件我们就可以写出一个简单的 echo server

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
#  Author :  cold
#  E-mail :  wh_linux@126.com
#  Date  :  13/04/15 15:08:51
#  Desc  :  Tornado Echo Server
#  HOME  :  http://www.linuxzen.com
#
import Queue
import socket

from functools import partial

from tornado.ioloop import IOLoop

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setblocking(0)       # 将socket设置为非阻塞

server_address = ("localhost", 10000)

sock.bind(server_address)
sock.listen(5)

fd_map = {}       # 文件描述符到socket的映射
message_queue_map = {}  # socket到消息队列的映射

fd = sock.fileno()
fd_map[fd] = sock

ioloop = IOLoop.instance()

def handle_client(cli_addr, fd, event):
  s = fd_map[fd]
  if event & IOLoop.READ:
    data = s.recv(1024)
    if data:
      print "   received '%s' from %s" % (data, cli_addr)
      # 接收到消息更改事件为写, 用于发送数据到对端
      ioloop.update_handler(fd, IOLoop.WRITE)
      message_queue_map[s].put(data)
    else:
      print "   closing %s" % cli_addr
      ioloop.remove_handler(fd)
      s.close()
      del message_queue_map[s]

  if event & IOLoop.WRITE:
    try:
      next_msg = message_queue_map[s].get_nowait()
    except Queue.Empty:
      print "%s queue empty" % cli_addr
      ioloop.update_handler(fd, IOLoop.READ)
    else:
      print 'sending "%s" to %s' % (next_msg, cli_addr)
      s.send(next_msg)

  if event & IOLoop.ERROR:
    print " exception on %s" % cli_addr
    ioloop.remove_handler(fd)
    s.close()
    del message_queue_map[s]


def handle_server(fd, event):
  s = fd_map[fd]
  if event & IOLoop.READ:
    conn, cli_addr = s.accept()
    print "   connection %s" % cli_addr[0]
    conn.setblocking(0)
    conn_fd = conn.fileno()
    fd_map[conn_fd] = conn
    handle = partial(handle_client, cli_addr[0])  # 将cli_addr作为第一个参数
    # 将连接和handle注册为读事件加入到 tornado ioloop
    ioloop.add_handler(conn_fd, handle, IOLoop.READ)
    message_queue_map[conn] = Queue.Queue()  # 创建对应的消息队列


ioloop.add_handler(fd, handle_server, IOLoop.READ)

ioloop.start()

上面代码就建立了一个非阻塞的高效的异步的echo server

Python 相关文章推荐
python获取网页状态码示例
Mar 30 Python
Python-基础-入门 简介
Aug 09 Python
用Python进行一些简单的自然语言处理的教程
Mar 31 Python
python自定义类并使用的方法
May 07 Python
Python语言实现机器学习的K-近邻算法
Jun 11 Python
Python计算两个日期相差天数的方法示例
May 23 Python
python机器学习库scikit-learn:SVR的基本应用
Jun 26 Python
python的几种矩阵相乘的公式详解
Jul 10 Python
使用PyWeChatSpy自动回复微信拍一拍功能的实现代码
Jul 02 Python
详解python polyscope库的安装和例程
Nov 13 Python
Python通过m3u8文件下载合并ts视频的操作
Apr 16 Python
Python访问Redis的详细操作
Jun 26 Python
使用Python的Tornado框架实现一个简单的WebQQ机器人
Apr 24 #Python
Python程序中使用SQLAlchemy时出现乱码的解决方案
Apr 24 #Python
简单说明Python中的装饰器的用法
Apr 24 #Python
使用基于Python的Tornado框架的HTTP客户端的教程
Apr 24 #Python
简单介绍Python的Tornado框架中的协程异步实现原理
Apr 23 #Python
解决Python中由于logging模块误用导致的内存泄露
Apr 23 #Python
粗略分析Python中的内存泄漏
Apr 23 #Python
You might like
php检测iis环境是否支持htaccess的方法
2014/02/18 PHP
PHP反射机制用法实例
2014/08/28 PHP
浅析THINKPHP的addAll支持的最大数据量
2015/02/03 PHP
PHP使用内置函数file_put_contents写入文件及追加内容的方法
2015/12/07 PHP
Laravel中获取路由参数Route Parameters的五种方法示例
2017/09/29 PHP
Codeigniter里的无刷新上传的实现代码
2019/04/14 PHP
PHP如何实现阿里云短信sdk灵活应用在项目中的方法
2019/06/14 PHP
关于laravel 日志写入失败问题汇总
2019/10/17 PHP
转一个日期输入控件,支持FF
2007/04/27 Javascript
JavaScript DOM元素尺寸和位置
2015/04/13 Javascript
jQuery添加和删除输入文本框标签代码
2016/05/20 Javascript
js select实现省市区联动选择
2020/04/17 Javascript
简单三步实现报表页面集成天气
2016/12/15 Javascript
AngularJS 中ui-view传参的实例详解
2017/08/25 Javascript
QML实现圆环颜色选择器
2019/09/25 Javascript
antd中table展开行默认展示,且不需要前边的加号操作
2020/11/02 Javascript
VUE实现吸底按钮
2021/03/04 Vue.js
[56:24]DOTA2上海特级锦标赛主赛事日 - 3 胜者组第二轮#1Liquid VS MVP.Phx第二局
2016/03/04 DOTA
[02:23]2016国际邀请赛中国区预选赛wings晋级之路
2016/06/29 DOTA
Python语言的12个基础知识点小结
2014/07/10 Python
跟老齐学Python之编写类之四再论继承
2014/10/11 Python
详细分析python3的reduce函数
2017/12/05 Python
基于循环神经网络(RNN)的古诗生成器
2018/03/26 Python
TensorFlow 模型载入方法汇总(小结)
2018/06/19 Python
Python 使用多属性来进行排序
2019/09/01 Python
python如何将两个txt文件内容合并
2019/10/18 Python
Python实现把类当做字典来访问
2019/12/16 Python
Tensorflow累加的实现案例
2020/02/05 Python
解决Tensorflow2.0 tf.keras.Model.load_weights() 报错处理问题
2020/06/12 Python
ASP.NET Core中的配置详解
2021/02/05 Python
3种方式实现瀑布流布局小结
2019/09/05 HTML / CSS
局火灾防控工作方案
2014/05/25 职场文书
群众路线问题查摆对照检查材料
2014/10/04 职场文书
预备党员考察表党小组意见
2015/06/01 职场文书
ORACLE数据库对long类型字段进行模糊匹配的解决思路
2021/04/07 Oracle
Oracle11g R2 安装教程完整版
2021/06/04 Oracle