Python的Asyncore异步Socket模块及实现端口转发的例子


Posted in Python onJune 14, 2016

Asyncore模块提供了以异步的方式写入套接字服务客户端和服务器的基础结构。

只有两种方式使一个程序在单处理器上实现“同时做不止一件事”。多线程编程是最简单和最流行的方式,但是有另一种很不一样的技术,可以使得我们保持多线程的几乎所有优势,却不用真正使用多线程。 如果你的程序主要是受I/O限制的,这是唯一可行的方式。如果你的程序是受处理器限制的,则先发制人的调度线程可能是你真正需要的。但是,很少网络服务器是受处理器限制的。

如果您的操作系统支持在其I / O库的 select() 系统调用(几乎所有系统都支持),那么你可以用它一次处理多个通信信道;当你的I/O在后台忙碌时处理其他工作。虽然这一策略似乎很奇怪很复杂,尤其是最开始的时候,这在很多方面比多线程编程更容易理解和控制。asyncore 模块为你解决了很多困难,使你能快速构建复杂的高性能网络服务器和客户端。对于会话应用程序和协议, asynchat 模块是非常有用的。

两个模块背后的想法就是创建一个或者多个网络 通道, 及 asyncore.dispatcher 和 asynchat.async_chat 类的实例. 如果你没有提供自己的映射的话,创建通道会把这两个实例加到由 loop() 函数使用的全局映射中。

一旦初始化通道被创建,调用 loop() 函数会激活通道服务,这会持续到最后一个通道(包括所有在异步服务中被加到映射中的通道)被关闭。
该模块文件包含一个loop()函数和一个dispatcher基类,其中loop()函数是全局函数,负责检查一个保存着dispatcher实例的dict,也被称为channel。
每一个继承dispatcher类的对象,都可以看作需要处理的socket,因此使用时我们只需定义一个继承dispatcher的类,然后重写一些方法就行,一般都是以handle_开头的方法。

端口转发的示例
如果你的程序想在同一时间做一件一上的事情,多线程是最快也最普遍的方式,但还有一个方式,在I/O流量很大的时候特别实用。如果你的操作系统支持select函数,你就可以让I/O在后台读写。这个模块听起来很复杂,但实际上有很多方式可以理解它,这个文档帮你解决了这些问题。
我感觉这个模块应该是一个以事件驱动的异步I/O,跟C++的事件选择模型类似。每当发生了读、写事件后,会交由我们重写的事件函数进行处理。
我这里有一个使用asyncore模块编写端口转发脚本,从这个脚本可以大概了解asyncore的基本使用。
在文章中,所说的客户端就是我们的电脑,服务端是转发到的地址。也就是客户端发送到这个脚本的信息,这个脚本转发到服务端上。
首先,定义一个forwarder类:

class forwarder(asyncore.dispatcher):
  def __init__(self, ip, port, remoteip,remoteport,backlog=5):
    asyncore.dispatcher.__init__(self)
    self.remoteip=remoteip
    self.remoteport=remoteport
    self.create_socket(socket.AF_INET,socket.SOCK_STREAM)
    self.set_reuse_addr()
    self.bind((ip,port))
    self.listen(backlog)

  def handle_accept(self):
    conn, addr = self.accept()
    # print '--- Connect --- '
    sender(receiver(conn),self.remoteip,self.remoteport)

这个类继承自asyncore模块的dispatcher类(它就是我们的主要的类,其中包括了一些之后要重载的函数),构造函数获得5个参数,第1、2个参数是脚本监听的本地IP和端口,第3、4个参数是服务端的IP和端口。第5个参数是listen函数的参数,等待队列最大长度。
如何使用这个类,只需要如下新建一个对象,把相应IP和端口传入,再进入loop即可:

forwarder(options.local_ip,options.local_port,options.remote_ip,options.remote_port)
asyncore.loop()

进入loop后相当于开启了一个守护线程,在后台一直运行着,等待socket事件的发生。
因为我们这个脚本是端口转发工具,所以实际上运行的过程是:客户端连接这个脚本的端口,让后发送给这个端口的数据脚本自动转发到服务端地址和端口。所以,首先接收到的应该是连接消息(accept事件)。
那么,当accept事件发生后,就进入了handle_accept函数中。所以我们看到,handle_accept函数实际上就是调用了accept函数接收了客户端连接对象和地址。获得了之后又新建了一个sender类对象,这个对象定义如下:

class sender(asyncore.dispatcher):
  def __init__(self, receiver, remoteaddr,remoteport):
    asyncore.dispatcher.__init__(self)
    self.receiver=receiver
    receiver.sender=self
    self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
    self.connect((remoteaddr, remoteport))

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '<-- %04i'%len(read)
    self.receiver.to_remote_buffer += read

  def writable(self):
    return (len(self.receiver.from_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.receiver.from_remote_buffer)
    # print '--> %04i'%sent
    self.receiver.from_remote_buffer = self.receiver.from_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    self.receiver.close()

这个类也是继承自asyncore.dispatcher,它的构造函数接收3个参数,分别是recv对象(这个之后说到),远端地址,对应端口。
函数中又新建了一个socket,这个socket就是和服务端端口通信的socket,然后调用connect连接这个端口。
之后其实也是进入了一个等待消息的过程,因为我们发送了一个connect,所以下一次接收到的消息应该是connect,而handle_connect是一个pass掉的函数。没有执行任何内容。
在连接完成后,我们就相当于建立好了一个端口转发的通道。当客户端向这个脚本监听的端口发送数据包时,它就会自动转发到服务端端口上。服务端端口返回的数据包,会自动转发到客户端上。
回到构造函数的第1个参数,我们在forwarder类函数中可以看到,传入的是一个receiver(conn)对象,receiver也是一个类,我们来看看这个类的定义:

class receiver(asyncore.dispatcher):
  def __init__(self,conn):
    asyncore.dispatcher.__init__(self,conn)
    self.from_remote_buffer=''
    self.to_remote_buffer=''
    self.sender=None

  def handle_connect(self):
    pass

  def handle_read(self):
    read = self.recv(4096)
    # print '%04i -->'%len(read)
    self.from_remote_buffer += read

  def writable(self):
    return (len(self.to_remote_buffer) > 0)

  def handle_write(self):
    sent = self.send(self.to_remote_buffer)
    # print '%04i <--'%sent
    self.to_remote_buffer = self.to_remote_buffer[sent:]

  def handle_close(self):
    self.close()
    if self.sender:
      self.sender.close()

它也是继承了asyncore.dispatcher,构造函数只接收一个参数,就是connect的返回值,一个连接对象。
实际上这个对象它就是监听、处理与客户端的通信,而之前说的sender对象是监听、处理与服务端的通信。                   

Python 相关文章推荐
python读取json文件并将数据插入到mongodb的方法
Mar 23 Python
Python运行报错UnicodeDecodeError的解决方法
Jun 07 Python
Python正则表达式教程之三:贪婪/非贪婪特性
Mar 02 Python
PyTorch线性回归和逻辑回归实战示例
May 22 Python
在python中实现强制关闭线程的示例
Jan 22 Python
Python flask框架post接口调用示例
Jul 03 Python
python调用其他文件函数或类的示例
Jul 16 Python
python打造爬虫代理池过程解析
Aug 15 Python
Python matplotlib绘制饼状图功能示例
Sep 10 Python
Pytorch 使用 nii数据做输入数据的操作
May 26 Python
Python如何使用input函数获取输入
Aug 06 Python
Pytorch之Tensor和Numpy之间的转换的实现方法
Sep 03 Python
Python实现TCP/IP协议下的端口转发及重定向示例
Jun 14 #Python
Python实现TCP协议下的端口映射功能的脚本程序示例
Jun 14 #Python
浅谈python新手中常见的疑惑及解答
Jun 14 #Python
Python中死锁的形成示例及死锁情况的防止
Jun 14 #Python
实例探究Python以并发方式编写高性能端口扫描器的方法
Jun 14 #Python
Python使用dis模块把Python反编译为字节码的用法详解
Jun 14 #Python
Python的Flask框架中使用Flask-Migrate扩展迁移数据库的教程
Jun 14 #Python
You might like
php中利用post传递字符串重定向的实现代码
2011/04/21 PHP
PHP取进制余数函数代码
2012/01/19 PHP
奇怪的PHP引用效率问题分析
2012/03/23 PHP
php数组删除元素示例
2014/03/21 PHP
PHP中快速生成随机密码的几种方式
2017/04/17 PHP
Extjs Ajax 乱码问题解决方案
2009/04/15 Javascript
javascript AOP 实现ajax回调函数使用比较方便
2010/11/20 Javascript
JavaScript中发布/订阅模式的简单实例
2014/11/05 Javascript
NodeJS制作爬虫全过程
2014/12/22 NodeJs
H5用户注册表单页 注册模态框!
2016/09/17 Javascript
巧用Javascript的逻辑运算符
2016/12/02 Javascript
Node.js和Express简单入门介绍
2017/03/24 Javascript
关于react-router的几种配置方式详解
2017/07/24 Javascript
基于JavaScript实现百度搜索框效果
2020/06/28 Javascript
封装一下vue中的axios示例代码详解
2020/02/16 Javascript
解决Antd 里面的select 选择框联动触发的问题
2020/10/24 Javascript
[04:56]经典回顾:前Ehome 与 前LGD
2015/02/26 DOTA
[01:22]DOTA2神秘商店携大量周边降临完美大师赛
2017/11/07 DOTA
Python获取DLL和EXE文件版本号的方法
2015/03/10 Python
Python面向对象编程中的类和对象学习教程
2015/03/30 Python
python获得文件创建时间和修改时间的方法
2015/06/30 Python
Python的Tornado框架的异步任务与AsyncHTTPClient
2016/06/27 Python
Python线程之定位与销毁的实现
2019/02/17 Python
详解python项目实战:模拟登陆CSDN
2019/04/04 Python
Python爬虫 urllib2的使用方法详解
2019/09/23 Python
python实现全排列代码(回溯、深度优先搜索)
2020/02/26 Python
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
2020/07/03 Python
CSS3新属性transition-property transform box-shadow实例学习
2013/06/06 HTML / CSS
五分钟学会HTML5的WebSocket协议
2019/11/22 HTML / CSS
应届生会计电算化求职信
2013/10/03 职场文书
中国央视网签名寄语
2014/01/18 职场文书
市场营销求职信范文
2014/02/21 职场文书
客户经理竞聘演讲稿
2014/05/15 职场文书
合作协议书格式
2014/08/19 职场文书
股东授权委托书范本
2014/09/13 职场文书
试用期解除劳动合同通知书
2015/04/16 职场文书