Python中asyncore异步模块的用法及实现httpclient的实例


Posted in Python onJune 28, 2016

基础
这个模块是socket的异步实现,让我们先来熟悉一下模块中的一些类和方法:
1.asyncore.loop

输入一个轮询循环直到通过计数或打开的通道已关闭。

2.asyncore.dispatcher

dispatcher类是一个底层socket类的包装对象。要使它更有用, 它有一部分事件处理方法被异步循环调用。否则它就是一个标准的非阻塞socket对象。
底层的事件在特定事件或特定的连接状态告诉异步循环,某些高级事件发生了。例如, 我们要求一个socket连接到另一个主机。

(1)handle_connect() 第一次读或写事件。
(2)handle_close() 读事件没有数据可用。
(3)handle_accept 读事件监听一个socket。
(4)handle_read

在异步循环察觉到通道呼叫read()时调用。

(5)handle_write

在异步循环检测到一个可写的socket可以写的时候调用。这种方法经常实现缓冲性能。比如

def handle_write(self):
  sent = self.send(self.buffer)
  self.buffer = self.buffer[sent:]

(6)handle_expt

当有(OOB)数据套接字连接。这几乎永远不会发生,因为OOB精细地支持和很少使用。

(7)handle_connect

当socket创建一个连接时调用。

(8)handle_close

当socket连接关闭时调用。

(9)handle_error

当引发一个异常并没有其他处理时调用。

(10)handle_accept

当本地监听通道与远程端建立连接(被动连接)时调用。

(11)readable

每次在异步循环确定是否添加一个通道socket到读事件列表时调用,默认都为True。

(12)writable

每次在异步循环确定是否添加一个通道socket到写事件列表时调用, 默认为True。

(13)create_socket

与创建标准socket的时候相同。

(14)connect

与标准socket的端口设置是相同, 接受一个元组第一个参数为主机地址,第二个参数是端口号。

(15)send

向远程端socket发送数据。

(16)recv

从远程端socket读取最多buffer_size的数据。一个空的字符串意味着从另一端通道已关闭。

(17)listen

监听socket连接。

(18)bind

将socket绑定到地址。

(19)accept

接受一个连接, 必须绑定到一个socket和监听地址。

(20)close

关闭socket。

3.asyncore.dispatcher_with_send

dispatcher子类添加了简单的缓冲输出功能用于简单的客户,更复杂的使用asynchat.async_chat。

4.asyncore.file_dispatcher

file_dispatcher需要一个文件描述符或文件对象地图以及一个可选的参数,包装,使用调查()或循环()函数。如果提供一个文件对象或任何fileno()方法,该方法将调用和传递到file_wrapper构造函数。可用性:UNIX。

5.asyncore.file_wrapper

file_wrapper需要一个整数文件描述符并调用os.dup()复制处理,这样原来的处理可能是独立于file_wrapper关闭。这个类实现足够的方法来模拟一个套接字使用file_dispatcher类。可用性:UNIX。

asyncore 实例

1.一个http client的实现。

import socket
import asyncore

class Client(asyncore.dispatcher):
  
  def __init__(self, host, path):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((host, 80))
    self.buffer = 'GET %s HTTP/1.0\r\n\r\n' % path

  def handle_connect(self):
    pass

  def handle_close(self):
    self.close()

  def handle_read(self):
    print self.recv(8192)

  def writable(self):
    return (len(self.buffer) > 0)

  def handle_write(self):
    sent = self.send(self.buffer)
    self.buffer = self.buffer[sent:]

client = Client('www.python.org', '/')
asyncore.loop()

服务器接受连接和分配任务

import socket
import asyncore

class EchoHandler(asyncore.dispatcher_with_send):
  
  def handle_read(self):
    data = self.recv(8192)
    if data:
      self.send(data)


class EchoServer(asyncore.dispatcher):
  
  def __init__(self, host, port):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.set_reuse_add()
    self.bind((host, port))
    self.listen(5)

  def handle_accept(self):
    pair = self.accept()
    if pair is not None:
      sock, addr = pair
      print 'Incoming connection from %s' % repr(addr)
      handler = EchoHandler(sock)

server = EchoServer('localhost', 8080)
asyncore.loop()

2.利用asyncore的端口映射(端口转发)

import socket,asyncore

class forwarder(asyncore.dispatcher):
  def __init__(self, ip, port, remoteip,remoteport,backlog=5):
    asyncore.dispatcher.__init__(self)
    self.remoteip=remoteip
    self.remoteport=remoteport
    self.create_socket(socket.AF_INET,socket.SOCK_STREAM)
    self.set_reuse_addr()
    self.bind((ip,port))
    self.listen(backlog)

  def handle_accept(self):
    conn, addr = self.accept()
    # print '--- Connect --- '
    sender(receiver(conn),self.remoteip,self.remoteport)

class receiver(asyncore.dispatcher):
  def __init__(self,conn):
    asyncore.dispatcher.__init__(self,conn)
    self.from_remote_buffer=''
    self.to_remote_buffer=''
    self.sender=None

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '%04i -->'%len(read)
    self.from_remote_buffer += read

  def writable(self):
    return (len(self.to_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.to_remote_buffer)
    # print '%04i <--'%sent
    self.to_remote_buffer = self.to_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    if self.sender:
      self.sender.close()

class sender(asyncore.dispatcher):
  def __init__(self, receiver, remoteaddr,remoteport):
    asyncore.dispatcher.__init__(self)
    self.receiver=receiver
    receiver.sender=self
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((remoteaddr, remoteport))

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '<-- %04i'%len(read)
    self.receiver.to_remote_buffer += read

  def writable(self):
    return (len(self.receiver.from_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.receiver.from_remote_buffer)
    # print '--> %04i'%sent
    self.receiver.from_remote_buffer = self.receiver.from_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    self.receiver.close()

if __name__=='__main__':
  import optparse
  parser = optparse.OptionParser()

  parser.add_option(
    '-l','--local-ip',
    dest='local_ip',default='127.0.0.1',
    help='Local IP address to bind to')
  parser.add_option(
    '-p','--local-port',
    type='int',dest='local_port',default=80,
    help='Local port to bind to')
  parser.add_option(
    '-r','--remote-ip',dest='remote_ip',
    help='Local IP address to bind to')
  parser.add_option(
    '-P','--remote-port',
    type='int',dest='remote_port',default=80,
    help='Remote port to bind to')
  options, args = parser.parse_args()

  forwarder(options.local_ip,options.local_port,options.remote_ip,options.remote_port)
  asyncore.loop()
Python 相关文章推荐
Python利用splinter实现浏览器自动化操作方法
May 11 Python
python3实现多线程聊天室
Dec 12 Python
详解Python字典的操作
Mar 04 Python
pandas dataframe的合并实现(append, merge, concat)
Jun 24 Python
pytorch 准备、训练和测试自己的图片数据的方法
Jan 10 Python
Python利用全连接神经网络求解MNIST问题详解
Jan 14 Python
Python任务自动化工具tox使用教程
Mar 17 Python
Python必须了解的35个关键词
Jul 16 Python
python爬虫调度器用法及实例代码
Nov 30 Python
Python中Pyspider爬虫框架的基本使用详解
Jan 27 Python
python中os.remove()用法及注意事项
Jan 31 Python
Python+OpenCV实现图片中的圆形检测
Apr 07 Python
python 字典(dict)按键和值排序
Jun 28 #Python
简单谈谈python的反射机制
Jun 28 #Python
Python实现带百分比的进度条
Jun 28 #Python
Python中的字符串替换操作示例
Jun 27 #Python
Python的string模块中的Template类字符串模板用法
Jun 27 #Python
Python的Flask框架及Nginx实现静态文件访问限制功能
Jun 27 #Python
总结网络IO模型与select模型的Python实例讲解
Jun 27 #Python
You might like
php+mysqli事务控制实现银行转账实例
2015/01/29 PHP
PHP 与 UTF-8 的最佳实践详细介绍
2017/01/04 PHP
用js实现的抽象CSS圆角效果!!
2007/05/03 Javascript
JavaScript Event学习补遗 addEventSimple
2010/02/11 Javascript
跨浏览器开发经验总结(三)   警惕“IE依赖综合症”
2010/05/13 Javascript
ajax java 实现自动完成功能
2012/12/19 Javascript
JavaScript中几个重要的属性(this、constructor、prototype)介绍
2013/05/19 Javascript
javascript自定义函数参数传递为字符串格式
2014/07/29 Javascript
jQuery中:first选择器用法实例
2014/12/30 Javascript
javascript实现youku的视频代码自适应宽度
2015/05/25 Javascript
JavaScript中的数据类型转换方法小结
2015/10/26 Javascript
js闭包引起的事件注册问题介绍
2016/03/29 Javascript
JS中动态创建元素的三种方法总结(推荐)
2016/10/20 Javascript
Vuejs 组件——props数据传递的实例代码
2017/03/07 Javascript
js前端导出Excel的方法
2017/11/01 Javascript
详解webpack loader和plugin编写
2018/10/12 Javascript
基于axios 的responseType类型的设置方法
2019/10/29 Javascript
node.js文件操作系统实例详解
2019/11/05 Javascript
js实现div色块拖动录制
2020/01/16 Javascript
vue学习笔记之给组件绑定原生事件操作示例
2020/02/27 Javascript
Python实现的金山快盘的签到程序
2013/01/17 Python
django云端留言板实例详解
2019/07/22 Python
css3进阶之less实现星空动画的示例代码
2019/09/10 HTML / CSS
html svg生成环形进度条的实现方法
2019/09/23 HTML / CSS
全球领先美式家具品牌:Ashley爱室丽家居
2017/08/07 全球购物
荷兰男士时尚网上商店:Suitable
2017/12/25 全球购物
瑞典度假品牌:OAS
2019/05/28 全球购物
客服实习的个人自我鉴定
2013/10/20 职场文书
高等教育学自荐书范文
2014/02/10 职场文书
2014爱耳日宣传教育活动总结
2014/03/09 职场文书
学校三八妇女节活动情况总结
2014/03/09 职场文书
代领学位证书毕业证书委托书
2014/09/30 职场文书
政协常委会议主持词
2015/07/03 职场文书
获奖感言怎么写
2015/07/31 职场文书
八年级数学教学反思
2016/02/17 职场文书
助学金申请书该怎么写?
2019/07/16 职场文书