Python中asyncore异步模块的用法及实现httpclient的实例


Posted in Python onJune 28, 2016

基础
这个模块是socket的异步实现,让我们先来熟悉一下模块中的一些类和方法:
1.asyncore.loop

输入一个轮询循环直到通过计数或打开的通道已关闭。

2.asyncore.dispatcher

dispatcher类是一个底层socket类的包装对象。要使它更有用, 它有一部分事件处理方法被异步循环调用。否则它就是一个标准的非阻塞socket对象。
底层的事件在特定事件或特定的连接状态告诉异步循环,某些高级事件发生了。例如, 我们要求一个socket连接到另一个主机。

(1)handle_connect() 第一次读或写事件。
(2)handle_close() 读事件没有数据可用。
(3)handle_accept 读事件监听一个socket。
(4)handle_read

在异步循环察觉到通道呼叫read()时调用。

(5)handle_write

在异步循环检测到一个可写的socket可以写的时候调用。这种方法经常实现缓冲性能。比如

def handle_write(self):
  sent = self.send(self.buffer)
  self.buffer = self.buffer[sent:]

(6)handle_expt

当有(OOB)数据套接字连接。这几乎永远不会发生,因为OOB精细地支持和很少使用。

(7)handle_connect

当socket创建一个连接时调用。

(8)handle_close

当socket连接关闭时调用。

(9)handle_error

当引发一个异常并没有其他处理时调用。

(10)handle_accept

当本地监听通道与远程端建立连接(被动连接)时调用。

(11)readable

每次在异步循环确定是否添加一个通道socket到读事件列表时调用,默认都为True。

(12)writable

每次在异步循环确定是否添加一个通道socket到写事件列表时调用, 默认为True。

(13)create_socket

与创建标准socket的时候相同。

(14)connect

与标准socket的端口设置是相同, 接受一个元组第一个参数为主机地址,第二个参数是端口号。

(15)send

向远程端socket发送数据。

(16)recv

从远程端socket读取最多buffer_size的数据。一个空的字符串意味着从另一端通道已关闭。

(17)listen

监听socket连接。

(18)bind

将socket绑定到地址。

(19)accept

接受一个连接, 必须绑定到一个socket和监听地址。

(20)close

关闭socket。

3.asyncore.dispatcher_with_send

dispatcher子类添加了简单的缓冲输出功能用于简单的客户,更复杂的使用asynchat.async_chat。

4.asyncore.file_dispatcher

file_dispatcher需要一个文件描述符或文件对象地图以及一个可选的参数,包装,使用调查()或循环()函数。如果提供一个文件对象或任何fileno()方法,该方法将调用和传递到file_wrapper构造函数。可用性:UNIX。

5.asyncore.file_wrapper

file_wrapper需要一个整数文件描述符并调用os.dup()复制处理,这样原来的处理可能是独立于file_wrapper关闭。这个类实现足够的方法来模拟一个套接字使用file_dispatcher类。可用性:UNIX。

asyncore 实例

1.一个http client的实现。

import socket
import asyncore

class Client(asyncore.dispatcher):
  
  def __init__(self, host, path):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((host, 80))
    self.buffer = 'GET %s HTTP/1.0\r\n\r\n' % path

  def handle_connect(self):
    pass

  def handle_close(self):
    self.close()

  def handle_read(self):
    print self.recv(8192)

  def writable(self):
    return (len(self.buffer) > 0)

  def handle_write(self):
    sent = self.send(self.buffer)
    self.buffer = self.buffer[sent:]

client = Client('www.python.org', '/')
asyncore.loop()

服务器接受连接和分配任务

import socket
import asyncore

class EchoHandler(asyncore.dispatcher_with_send):
  
  def handle_read(self):
    data = self.recv(8192)
    if data:
      self.send(data)


class EchoServer(asyncore.dispatcher):
  
  def __init__(self, host, port):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.set_reuse_add()
    self.bind((host, port))
    self.listen(5)

  def handle_accept(self):
    pair = self.accept()
    if pair is not None:
      sock, addr = pair
      print 'Incoming connection from %s' % repr(addr)
      handler = EchoHandler(sock)

server = EchoServer('localhost', 8080)
asyncore.loop()

2.利用asyncore的端口映射(端口转发)

import socket,asyncore

class forwarder(asyncore.dispatcher):
  def __init__(self, ip, port, remoteip,remoteport,backlog=5):
    asyncore.dispatcher.__init__(self)
    self.remoteip=remoteip
    self.remoteport=remoteport
    self.create_socket(socket.AF_INET,socket.SOCK_STREAM)
    self.set_reuse_addr()
    self.bind((ip,port))
    self.listen(backlog)

  def handle_accept(self):
    conn, addr = self.accept()
    # print '--- Connect --- '
    sender(receiver(conn),self.remoteip,self.remoteport)

class receiver(asyncore.dispatcher):
  def __init__(self,conn):
    asyncore.dispatcher.__init__(self,conn)
    self.from_remote_buffer=''
    self.to_remote_buffer=''
    self.sender=None

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '%04i -->'%len(read)
    self.from_remote_buffer += read

  def writable(self):
    return (len(self.to_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.to_remote_buffer)
    # print '%04i <--'%sent
    self.to_remote_buffer = self.to_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    if self.sender:
      self.sender.close()

class sender(asyncore.dispatcher):
  def __init__(self, receiver, remoteaddr,remoteport):
    asyncore.dispatcher.__init__(self)
    self.receiver=receiver
    receiver.sender=self
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((remoteaddr, remoteport))

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '<-- %04i'%len(read)
    self.receiver.to_remote_buffer += read

  def writable(self):
    return (len(self.receiver.from_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.receiver.from_remote_buffer)
    # print '--> %04i'%sent
    self.receiver.from_remote_buffer = self.receiver.from_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    self.receiver.close()

if __name__=='__main__':
  import optparse
  parser = optparse.OptionParser()

  parser.add_option(
    '-l','--local-ip',
    dest='local_ip',default='127.0.0.1',
    help='Local IP address to bind to')
  parser.add_option(
    '-p','--local-port',
    type='int',dest='local_port',default=80,
    help='Local port to bind to')
  parser.add_option(
    '-r','--remote-ip',dest='remote_ip',
    help='Local IP address to bind to')
  parser.add_option(
    '-P','--remote-port',
    type='int',dest='remote_port',default=80,
    help='Remote port to bind to')
  options, args = parser.parse_args()

  forwarder(options.local_ip,options.local_port,options.remote_ip,options.remote_port)
  asyncore.loop()
Python 相关文章推荐
windows下ipython的安装与使用详解
Oct 20 Python
Python 迭代器与生成器实例详解
May 18 Python
python函数式编程学习之yield表达式形式详解
Mar 25 Python
python 重命名轴索引的方法
Nov 10 Python
Python常见数据结构之栈与队列用法示例
Jan 14 Python
搞定这套Python爬虫面试题(面试会so easy)
Apr 03 Python
使用python实现mqtt的发布和订阅
May 05 Python
在python中计算ssim的方法(与Matlab结果一致)
Dec 19 Python
python实现电子词典
Mar 03 Python
django-利用session机制实现唯一登录的例子
Mar 16 Python
python利用opencv保存、播放视频
Nov 02 Python
Python OpenGL基本配置方式
May 20 Python
python 字典(dict)按键和值排序
Jun 28 #Python
简单谈谈python的反射机制
Jun 28 #Python
Python实现带百分比的进度条
Jun 28 #Python
Python中的字符串替换操作示例
Jun 27 #Python
Python的string模块中的Template类字符串模板用法
Jun 27 #Python
Python的Flask框架及Nginx实现静态文件访问限制功能
Jun 27 #Python
总结网络IO模型与select模型的Python实例讲解
Jun 27 #Python
You might like
smtp邮件发送一例
2006/10/09 PHP
ini_set的用法介绍
2014/01/07 PHP
PHP fopen()和 file_get_contents()应用与差异介绍
2014/03/19 PHP
ThinkPHP中__initialize()和类的构造函数__construct()用法分析
2014/11/29 PHP
yii去掉必填项中星号的方法
2015/12/28 PHP
浅谈laravel-admin form中的数据,在提交后,保存前,获取并进行编辑
2019/10/21 PHP
让你的网站可编辑的实现js代码
2009/10/19 Javascript
jquery通过select列表选择框对表格数据进行过滤示例
2014/05/07 Javascript
javascript实例分享---具有立体效果的图片特效
2014/06/08 Javascript
Express作者TJ告别Node.js奔向Go
2014/07/14 Javascript
JQuery日历插件My97DatePicker日期范围限制
2016/01/20 Javascript
jquery Deferred 快速解决异步回调的问题
2016/04/05 Javascript
JS组件Bootstrap实现弹出框效果代码
2016/04/26 Javascript
详谈JavaScript的闭包及应用
2017/01/17 Javascript
js获取浏览器的各种属性
2017/04/27 Javascript
关于TypeScript模块导入的那些事
2018/06/12 Javascript
Vue-Router的使用方法
2018/09/05 Javascript
三种Webpack打包方式(小结)
2018/09/19 Javascript
微信小程序自定义组件的实现方法及自定义组件与页面间的数据传递问题
2018/10/09 Javascript
jquery中attr、prop、data区别与用法分析
2019/09/25 jQuery
VUEX采坑之路之获取不到$store的解决方法
2019/11/08 Javascript
python实现微信发送邮件关闭电脑功能
2018/02/22 Python
Numpy 将二维图像矩阵转换为一维向量的方法
2018/06/05 Python
使用pandas对两个dataframe进行join的实例
2018/06/08 Python
深入理解Django自定义信号(signals)
2018/10/15 Python
Python字符串逆序的实现方法【一题多解】
2019/02/18 Python
tensorboard 可以显示graph,却不能显示scalar的解决方式
2020/02/15 Python
python实现提取COCO,VOC数据集中特定的类
2020/03/10 Python
KIKO MILANO英国官网:意大利知名化妆品和护肤品品牌
2017/09/25 全球购物
Muziker英国:中欧最大的音乐家商店
2020/02/05 全球购物
建筑项目策划书
2014/01/13 职场文书
经理助理岗位职责
2015/02/02 职场文书
博物馆观后感
2015/06/05 职场文书
2015年政治教研组工作总结
2015/07/22 职场文书
优秀创业计划书分享
2019/07/19 职场文书
Python如何利用正则表达式爬取网页信息及图片
2021/04/17 Python