使用Python的Tornado框架实现一个简单的WebQQ机器人


Posted in Python onApril 24, 2015

我打算将WebQQ单独出来运行, 一开始直接拷贝了pyxmpp2的mainloop, 但是跑起来问题多多, 所以我又研究了利用Tornado进行网络编程(这里), 所以我放弃了Pyxmpp2的mainloop,使用Tornado进行重写

首先放出项目代码
引子

WebQQ协议是一套基于HTTP的QQ协议, 而用Python的urllib2库进行请求太慢, 因为HTTP本身就使用socket请求, 所以改用多路复用I/O模型, 而Tornado简单高效, 看过代码后可以轻松上手.平台兼容性很好, 所以选择Tornado作为网络框架.
原理

首先实现了一个 HTTPStream类, 其主要接口是add_request方法, 它接受一个必选参数:request 是一个 urllib2.Request的实例, 和一个可选参数:readback是一个接受一个urllib2.urlopen(request)返回的Response参数的读取函数, 代码如下:

class HTTPStream(object):
  # 省略若干代码
  def add_request(self, request, readback = None):
    if not isinstance(request, urllib2.Request):
      raise ValueError, "Not a invaid requset"

    # 此处易触发timeout异常, 省略处理异常代码
    sock, data = self.http_sock.make_http_sock_data(request)

    fd = sock.fileno()
    self.fd_map[fd] = sock
    self.fd_request_map[fd] = request
    callback = partial(self._handle_events, request, data, readback)
    self.ioloop.add_handler(fd, callback, IOLoop.WRITE)

HTTPStream.add_request将urllib2.Request的实例解析出一个socket和一个用于socket发送的数据.前面文章介绍过了, tornado.ioloop.IOLoop.add_handler用于将注册socket, 其需要三个参数: socket的文件描述符, 接受文件描述符和事件参数的回调, 和注册的事件.

我们用到的回调是HTTPStream._handle_events:

class HTTPStream(object):
  # 省略若干代码
  def _handle_events(self, request, data, readback, fd, event):
    """ 用于处理Tornado事件
    Arguments:
      `request`  -  urllib.Request
      `data`   -  socket要写入的数据
      `readback` -  读取函数
      以上参数应当使用partial封装然后将此方法作为IOLoop.add_handler的callback
      `fd`    -  IOLoop传递 文件描述符
      `event`   -  IOLoop传递 tornado
    """
    s = self.fd_map[fd]

    if event & IOLoop.READ:
      # 省略错误处理
      resp = self.http_sock.make_response(s, request)
      args = readback(resp)
      s.setblocking(False)
      if args and len(args) == 3:
        t = threading.Thread(target = self.add_delay_request, args = args)
        t.setDaemon(True)
        t.start()

      if args and len(args) == 2:
        self.add_request(*args)
      self.ioloop.remove_handler(fd)

    if event & IOLoop.WRITE:
      s.sendall(data)
      if readback:
        self.ioloop.update_handler(fd, IOLoop.READ)
      else:
        self.ioloop.remove_handler(fd)

    if event & IOLoop.ERROR:
      pass

它接受的参数上面注释写的很清楚, 不做解释, 所以将此方法通过functools.partial封装做为callback传递给tornado.ioloop.IOLoop.add_handler, 并注册为写事件, 以便发送HTTP请求.

HTTPStream._handle_events用于处理事件, 当事件为写时就发送HTTP请求(根据urllib2.Request生成的用于发送的数据), 并判断是否有读取函数, 有则注册读事件, 当事件为读时就从socket中构建一个Response并传递给读取函数, 读取函数会返回3个值, 分别为: 下一个请求, 请求的读取函数(可为None, 为None则只请求不读取), 下一个请求的延迟(多长事件后添加此请求, 可选, 单位为秒)

依据读取函数返回的三个值来确定下一个请求, 并完成一系列的请求. 更加完整的代码请参见文章开头给出的项目代码

HTTPStream.http_sock.make_response执行时会将socket设为阻塞, 因为不设置阻塞会出现httplib.BadStatusLine异常.读取函数执行完毕,重新将socket设置为非阻塞, 并移除此socket(虽然做了这样的处理但是QQ连接时间稍长还是会触发httplib.BadStatusLine异常)

Python 相关文章推荐
Python中的ConfigParser模块使用详解
May 04 Python
Python读写unicode文件的方法
Jul 10 Python
Python计算斗牛游戏概率算法实例分析
Sep 26 Python
Python中偏函数用法示例
Jun 07 Python
Tensorflow获取张量Tensor的具体维数实例
Jan 19 Python
Python对称的二叉树多种思路实现方法
Feb 28 Python
python打开音乐文件的实例方法
Jul 21 Python
Windows下pycharm安装第三方库失败(通用解决方案)
Sep 17 Python
pandas按条件筛选数据的实现
Feb 20 Python
Python 如何解决稀疏矩阵运算
May 26 Python
pytorch 运行一段时间后出现GPU OOM的问题
Jun 02 Python
python四个坐标点对图片区域最小外接矩形进行裁剪
Jun 04 Python
Python程序中使用SQLAlchemy时出现乱码的解决方案
Apr 24 #Python
简单说明Python中的装饰器的用法
Apr 24 #Python
使用基于Python的Tornado框架的HTTP客户端的教程
Apr 24 #Python
简单介绍Python的Tornado框架中的协程异步实现原理
Apr 23 #Python
解决Python中由于logging模块误用导致的内存泄露
Apr 23 #Python
粗略分析Python中的内存泄漏
Apr 23 #Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 #Python
You might like
PHP程序开发范例学习之表单 获取文本框的值
2011/08/08 PHP
PHP提示Deprecated: mysql_connect(): The mysql extension is deprecated的解决方法
2014/08/28 PHP
为PHP5.4开启Zend OPCode缓存
2014/12/26 PHP
php上传图片类及用法示例
2016/05/11 PHP
php实现登陆模块功能示例
2016/10/20 PHP
Javascript 二维数组
2009/11/26 Javascript
JavaScript 字符串与数组转换函数[不用split与join]
2009/12/13 Javascript
javascript Array数组对象的扩展函数代码
2010/05/22 Javascript
jQuery提交多个表单的小例子
2013/06/30 Javascript
js动态设置div的值下例子
2013/10/29 Javascript
深入分析escape()、encodeURI()、encodeURIComponent()的区别及示例
2014/08/04 Javascript
node.js中的require使用详解
2014/12/15 Javascript
jQuery实现图片左右滚动特效
2020/04/20 Javascript
简单实现的JQuery文本框水印插件
2016/06/14 Javascript
基于JavaScript实现报警器提示音效果
2017/10/27 Javascript
js页面加载后执行的几种方式小结
2020/01/30 Javascript
Js实现复选框的全选、全不选反选功能代码实例
2020/02/28 Javascript
[00:32]10月24、25日 辉夜杯外卡赛附加赛开赛!
2015/10/23 DOTA
[01:23:59]2018DOTA2亚洲邀请赛 4.1 小组赛 B组 VP vs Secret
2018/04/03 DOTA
[44:30]完美世界DOTA2联赛PWL S2 GXR vs Magma 第一场 11.25
2020/11/26 DOTA
Python树莓派学习笔记之UDP传输视频帧操作详解
2019/11/15 Python
python hash每次调用结果不同的原因
2019/11/21 Python
css3 clip实现圆环进度条的示例代码
2018/02/07 HTML / CSS
西班牙网上书店:Casa del Libro
2016/11/01 全球购物
ZWILLING双立人英国网上商店:德国刀具锅具厨具品牌
2018/05/15 全球购物
如何强制垃圾回收
2015/10/06 面试题
UNIX文件系统常用命令
2012/05/25 面试题
单身联谊活动方案
2014/01/29 职场文书
旅游业大学生创业计划书
2014/01/31 职场文书
门前三包责任书
2014/04/15 职场文书
计算机科学技术自荐信
2014/06/12 职场文书
民主生活会对照检查材料(统计局)
2014/09/21 职场文书
2014年为民办实事工作总结
2014/12/20 职场文书
教师听课评语大全
2014/12/31 职场文书
关于开学的感想
2015/08/10 职场文书
Windows 11要来了?微软文档揭示Win11太阳谷 / Win10有两个不同版本
2021/11/21 数码科技