Python中asyncore异步模块的用法及实现httpclient的实例


Posted in Python onJune 28, 2016

基础
这个模块是socket的异步实现,让我们先来熟悉一下模块中的一些类和方法:
1.asyncore.loop

输入一个轮询循环直到通过计数或打开的通道已关闭。

2.asyncore.dispatcher

dispatcher类是一个底层socket类的包装对象。要使它更有用, 它有一部分事件处理方法被异步循环调用。否则它就是一个标准的非阻塞socket对象。
底层的事件在特定事件或特定的连接状态告诉异步循环,某些高级事件发生了。例如, 我们要求一个socket连接到另一个主机。

(1)handle_connect() 第一次读或写事件。
(2)handle_close() 读事件没有数据可用。
(3)handle_accept 读事件监听一个socket。
(4)handle_read

在异步循环察觉到通道呼叫read()时调用。

(5)handle_write

在异步循环检测到一个可写的socket可以写的时候调用。这种方法经常实现缓冲性能。比如

def handle_write(self):
  sent = self.send(self.buffer)
  self.buffer = self.buffer[sent:]

(6)handle_expt

当有(OOB)数据套接字连接。这几乎永远不会发生,因为OOB精细地支持和很少使用。

(7)handle_connect

当socket创建一个连接时调用。

(8)handle_close

当socket连接关闭时调用。

(9)handle_error

当引发一个异常并没有其他处理时调用。

(10)handle_accept

当本地监听通道与远程端建立连接(被动连接)时调用。

(11)readable

每次在异步循环确定是否添加一个通道socket到读事件列表时调用,默认都为True。

(12)writable

每次在异步循环确定是否添加一个通道socket到写事件列表时调用, 默认为True。

(13)create_socket

与创建标准socket的时候相同。

(14)connect

与标准socket的端口设置是相同, 接受一个元组第一个参数为主机地址,第二个参数是端口号。

(15)send

向远程端socket发送数据。

(16)recv

从远程端socket读取最多buffer_size的数据。一个空的字符串意味着从另一端通道已关闭。

(17)listen

监听socket连接。

(18)bind

将socket绑定到地址。

(19)accept

接受一个连接, 必须绑定到一个socket和监听地址。

(20)close

关闭socket。

3.asyncore.dispatcher_with_send

dispatcher子类添加了简单的缓冲输出功能用于简单的客户,更复杂的使用asynchat.async_chat。

4.asyncore.file_dispatcher

file_dispatcher需要一个文件描述符或文件对象地图以及一个可选的参数,包装,使用调查()或循环()函数。如果提供一个文件对象或任何fileno()方法,该方法将调用和传递到file_wrapper构造函数。可用性:UNIX。

5.asyncore.file_wrapper

file_wrapper需要一个整数文件描述符并调用os.dup()复制处理,这样原来的处理可能是独立于file_wrapper关闭。这个类实现足够的方法来模拟一个套接字使用file_dispatcher类。可用性:UNIX。

asyncore 实例

1.一个http client的实现。

import socket
import asyncore

class Client(asyncore.dispatcher):
  
  def __init__(self, host, path):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((host, 80))
    self.buffer = 'GET %s HTTP/1.0\r\n\r\n' % path

  def handle_connect(self):
    pass

  def handle_close(self):
    self.close()

  def handle_read(self):
    print self.recv(8192)

  def writable(self):
    return (len(self.buffer) > 0)

  def handle_write(self):
    sent = self.send(self.buffer)
    self.buffer = self.buffer[sent:]

client = Client('www.python.org', '/')
asyncore.loop()

服务器接受连接和分配任务

import socket
import asyncore

class EchoHandler(asyncore.dispatcher_with_send):
  
  def handle_read(self):
    data = self.recv(8192)
    if data:
      self.send(data)


class EchoServer(asyncore.dispatcher):
  
  def __init__(self, host, port):
    asyncore.dispatcher.__init__(self)
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.set_reuse_add()
    self.bind((host, port))
    self.listen(5)

  def handle_accept(self):
    pair = self.accept()
    if pair is not None:
      sock, addr = pair
      print 'Incoming connection from %s' % repr(addr)
      handler = EchoHandler(sock)

server = EchoServer('localhost', 8080)
asyncore.loop()

2.利用asyncore的端口映射(端口转发)

import socket,asyncore

class forwarder(asyncore.dispatcher):
  def __init__(self, ip, port, remoteip,remoteport,backlog=5):
    asyncore.dispatcher.__init__(self)
    self.remoteip=remoteip
    self.remoteport=remoteport
    self.create_socket(socket.AF_INET,socket.SOCK_STREAM)
    self.set_reuse_addr()
    self.bind((ip,port))
    self.listen(backlog)

  def handle_accept(self):
    conn, addr = self.accept()
    # print '--- Connect --- '
    sender(receiver(conn),self.remoteip,self.remoteport)

class receiver(asyncore.dispatcher):
  def __init__(self,conn):
    asyncore.dispatcher.__init__(self,conn)
    self.from_remote_buffer=''
    self.to_remote_buffer=''
    self.sender=None

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '%04i -->'%len(read)
    self.from_remote_buffer += read

  def writable(self):
    return (len(self.to_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.to_remote_buffer)
    # print '%04i <--'%sent
    self.to_remote_buffer = self.to_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    if self.sender:
      self.sender.close()

class sender(asyncore.dispatcher):
  def __init__(self, receiver, remoteaddr,remoteport):
    asyncore.dispatcher.__init__(self)
    self.receiver=receiver
    receiver.sender=self
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((remoteaddr, remoteport))

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '<-- %04i'%len(read)
    self.receiver.to_remote_buffer += read

  def writable(self):
    return (len(self.receiver.from_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.receiver.from_remote_buffer)
    # print '--> %04i'%sent
    self.receiver.from_remote_buffer = self.receiver.from_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    self.receiver.close()

if __name__=='__main__':
  import optparse
  parser = optparse.OptionParser()

  parser.add_option(
    '-l','--local-ip',
    dest='local_ip',default='127.0.0.1',
    help='Local IP address to bind to')
  parser.add_option(
    '-p','--local-port',
    type='int',dest='local_port',default=80,
    help='Local port to bind to')
  parser.add_option(
    '-r','--remote-ip',dest='remote_ip',
    help='Local IP address to bind to')
  parser.add_option(
    '-P','--remote-port',
    type='int',dest='remote_port',default=80,
    help='Remote port to bind to')
  options, args = parser.parse_args()

  forwarder(options.local_ip,options.local_port,options.remote_ip,options.remote_port)
  asyncore.loop()
Python 相关文章推荐
简单实现python爬虫功能
Dec 31 Python
PYTHON 中使用 GLOBAL引发的一系列问题
Oct 12 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
Jun 26 Python
Python 依赖库太多了该如何管理
Nov 08 Python
对tensorflow中tf.nn.conv1d和layers.conv1d的区别详解
Feb 11 Python
Python编程快速上手——Excel表格创建乘法表案例分析
Feb 28 Python
快速解决jupyter notebook启动需要密码的问题
Apr 21 Python
如何通过安装HomeBrew来安装Python3
Dec 23 Python
python语言time库和datetime库基本使用详解
Dec 25 Python
python调试工具Birdseye的使用教程
May 25 Python
python中字符串String及其常见操作指南(方法、函数)
Apr 06 Python
python 字典(dict)按键和值排序
Jun 28 #Python
简单谈谈python的反射机制
Jun 28 #Python
Python实现带百分比的进度条
Jun 28 #Python
Python中的字符串替换操作示例
Jun 27 #Python
Python的string模块中的Template类字符串模板用法
Jun 27 #Python
Python的Flask框架及Nginx实现静态文件访问限制功能
Jun 27 #Python
总结网络IO模型与select模型的Python实例讲解
Jun 27 #Python
You might like
奇怪的PHP引用效率问题分析
2012/03/23 PHP
简单的php中文转拼音的实现代码
2014/02/11 PHP
juqery 学习之四 筛选过滤
2010/11/30 Javascript
使用js如何实现全选与全不选
2013/12/30 Javascript
jQuery实现弹出窗口弹出div层的实例代码
2017/01/09 Javascript
jQuery文字轮播特效
2017/02/12 Javascript
微信小程序 点击控件后选中其它反选实例详解
2017/02/21 Javascript
jQuery常见面试题之DOM操作详析
2017/07/05 jQuery
react-native之ART绘图方法详解
2017/08/08 Javascript
react router 4.0以上的路由应用详解
2017/09/21 Javascript
vue生成文件本地打开查看效果的实例
2018/09/06 Javascript
使用FormData实现上传多个文件
2018/12/04 Javascript
JavaScript实现的九种排序算法
2019/03/04 Javascript
基于JavaScript实现猜数字游戏代码实例
2020/07/30 Javascript
Python 序列化 pickle/cPickle模块使用介绍
2014/11/30 Python
Python使用django获取用户IP地址的方法
2015/05/11 Python
python学习笔记之调用eval函数出现invalid syntax错误问题
2015/10/18 Python
Python实现按学生年龄排序的实际问题详解
2017/08/29 Python
Python实现查找数组中任意第k大的数字算法示例
2019/01/23 Python
Flask框架重定向,错误显示,Responses响应及Sessions会话操作示例
2019/08/01 Python
python 两个数据库postgresql对比
2019/10/21 Python
Python列表list常用内建函数实例小结
2019/10/22 Python
python函数map()和partial()的知识点总结
2020/05/26 Python
Python函数的迭代器与生成器的示例代码
2020/06/18 Python
办公文员的工作岗位职责
2013/11/12 职场文书
计算机操作自荐信
2013/12/07 职场文书
人事档案接收函
2014/01/12 职场文书
十佳大学生事迹材料
2014/01/29 职场文书
《赠汪伦》教学反思
2014/04/12 职场文书
计算机系本科生求职信
2014/05/31 职场文书
乒乓球兴趣小组活动总结
2014/07/08 职场文书
群众对十八届四中全会的期盼
2014/10/17 职场文书
工作收入住址证明
2014/10/28 职场文书
2014年学生会主席工作总结
2014/11/07 职场文书
店面出租协议书范本
2014/11/28 职场文书
Spring Cloud OpenFeign模版化客户端
2022/06/25 Java/Android