Python中使用select模块实现非阻塞的IO


Posted in Python onFebruary 03, 2015

Socket的英文原义是“孔”或“插座”。作为BSD UNIX的进程通信机制,取后一种意思。通常也称作”套接字”,用于描述IP地址和端口,是一个通信链的句柄。在Internet上的主机一般运行了多个服务软件,同时提供几种服务。每种服务都打开一个Socket,并绑定到一个端口上,不同的端口对应于不同的服务。Socket正如其英文原意那样,像一个多孔插座。一台主机犹如布满各种插座的房间,每个插座有一个编号,有的插座提供220伏交流电, 有的提供110伏交流电,有的则提供有线电视节目。 客户软件将插头插到不同编号的插座,就可以得到不同的服务。?百度百科

socket如此重要,现在的网络编程几乎都是用的它,它起源于Unix,而Unix/Linux基本哲学之一就是“一切皆文件”,都可以用打开,读写,关闭的模式来操作。然而,对于网络服务来说,往往针对大量的客户群体,例如web,对于这类服务,必须要保证既能并行处理请求,又能保证服务的稳定。但传统的socket在处理并发方面有所欠缺,借助与select模块,能够较好的是要非阻塞的IO。

Python中的select模块以列表形式接受四个参数,分别是需要监控的可读文件对象,可写文件对象,产生异常的文件对象和超时设置,当监控的对象发生变化时,select会返回发生变化的对象列表。下面是用select实现一个简单的聊天室:

#!/usr/bin/env python
#*-* coding:utf-8 *-*
import socket
import select
import sys
import signal
class ChatServer():
  def __init__(self,host,port,timeout=10,backlog=5):
    #记录连接的客户端数量
    self.clients =0
    #存储连接的客户端socket和地址对应的字典
    self.clientmap={}
    #存储连接的客户端socket
    self.outputs = []
    #建立socket
    self.server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
    self.server.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)
    self.server.bind((host,port))
    self.server.listen(backlog)
    #增加信号处理
    signal.signal(signal.SIGINT,self.sighandler) 
  def sighandler(self):
    sys.stdout.write("Shutdown Server......\n")
    #向已经连接客户端发送关系信息,并主动关闭socket
    for output in self.outputs:
      output.send("Shutdown Server")
      output.close()
    #关闭listen
    self.server.close()
    sys.stdout.flush()
  #主函数,用来启动服务器
  def run(self):
    #需要监听的可读对象
    inputs=[self.server]
    
    runing=True
    #添加监听主循环
    while runing:
      try:
        readable,writeable,exceptional = select.select(inputs,self.outputs,[])
        #此处会被select模块阻塞,只有当监听的三个参数发生变化时,select才会返回
      except select.error,e:
        break
      #当返回的readable中含有本地socket的信息时,表示有客户端正在请求连接
      if self.server in readable:
        #接受客户端连接请求
        client,addr=self.server.accept()
        sys.stdout.write("New Connection from %s\n"%str(addr))
        sys.stdout.flush()
        #更新服务器上客户端连接情况
        #1,数量加1
        #2,self.outputs增加一列
        #3,self.clientmap增加一对
        #4, 给input添加可读监控
        self.clients += 1
        self.outputs.append(client)
        self.clientmap[client]=addr
        inputs.append(client)
      
      #readable中含有已经添加的客户端socket,并且可读
      #说明 1,客户端有数据发送过来或者 2,客户端请求关闭
      elif len(readable) != 0:
        #1, 取出这个列表中的socket
        csock=readable[0]
        #2, 根据这个socket,在事先存放的clientmap中,去除客户端的地址,端口的详细信息
        host,port = self.clientmap[csock]
        #3,取数据, 或接受关闭请求,并处理
        #注意,这个操作是阻塞的,但是由于数据是在本地缓存之后,所以速度会非常快
        try:
          data = csock.recv(1024).strip()
          for cs in self.outputs:
            if cs != csock:
              cs.send("%s\n"%data)
        except socket.error,e:
          self.clients -= 1
          inputs.remove(csock)
          self.outputs.remove(csock)
          del self.clientmap[csock]
      #print self.outputs
    self.server.close()
        
if __name__ == "__main__":
  chat=ChatServer("",8008)
  chat.run()

运行这个脚本,然后用任意客户端如telnet或netcat连接8008端口,多个客户端之间就可以进行对话。

其实select模块本身是阻塞的,当需要监控的socket发生变化时,select作出返回,下面的程序会继续执行,程序根据select的返回值,对各种情况作出处理。

Python 相关文章推荐
Python 条件判断的缩写方法
Sep 06 Python
Python按行读取文件的简单实现方法
Jun 22 Python
独特的python循环语句
Nov 20 Python
Python3.6正式版新特性预览
Dec 15 Python
python制作小说爬虫实录
Aug 14 Python
python 遍历目录(包括子目录)下所有文件的实例
Jul 11 Python
python 根据网易云歌曲的ID 直接下载歌曲的实例
Aug 24 Python
python多任务之协程的使用详解
Aug 26 Python
Python综合应用名片管理系统案例详解
Jan 03 Python
pytorch中的model=model.to(device)使用说明
May 24 Python
Django rest framework如何自定义用户表
Jun 09 Python
Python 可迭代对象 iterable的具体使用
Aug 07 Python
Python异常学习笔记
Feb 03 #Python
Python中的迭代器漫谈
Feb 03 #Python
Python描述器descriptor详解
Feb 03 #Python
理解Python中的With语句
Feb 02 #Python
Linux环境下MySQL-python安装过程分享
Feb 02 #Python
Python中用pycurl监控http响应时间脚本分享
Feb 02 #Python
Python列表(list)常用操作方法小结
Feb 02 #Python
You might like
1982年日本摄影师镜头下的中国孩子 那无忧无虑的童年
2020/03/12 杂记
初识php MVC
2014/09/10 PHP
php生成Android客户端扫描可登录的二维码
2016/05/13 PHP
JS 获取滚动条高度示例代码
2013/10/24 Javascript
浅析jquery ajax异步调用方法中不能给全局变量赋值的原因及解决方法
2014/01/10 Javascript
jQuery实现简单滚动动画效果
2016/04/07 Javascript
js+html5实现半透明遮罩层弹框效果
2020/08/24 Javascript
node前端模板引擎Jade之标签的基本写法
2018/05/11 Javascript
ES6知识点整理之模块化的应用详解
2019/04/15 Javascript
微信小程序发布新版本时自动提示用户更新的方法
2019/06/07 Javascript
js实现图片上传到服务器和回显
2020/01/19 Javascript
[04:38]完美世界携手游戏风云打造 卡尔工作室饰品系统篇
2013/04/25 DOTA
python制作花瓣网美女图片爬虫
2015/10/28 Python
pandas DataFrame数据转为list的方法
2018/04/11 Python
numpy中实现ndarray数组返回符合特定条件的索引方法
2018/04/17 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
2018/12/18 Python
python+openCV利用摄像头实现人员活动检测
2019/06/22 Python
使用Python中的reduce()函数求积的实例
2019/06/28 Python
pytorch神经网络之卷积层与全连接层参数的设置方法
2019/08/18 Python
python基于socket实现的UDP及TCP通讯功能示例
2019/11/01 Python
基于Python执行dos命令并获取输出的结果
2019/12/30 Python
使用Python matplotlib作图时,设置横纵坐标轴数值以百分比(%)显示
2020/05/16 Python
Python SMTP配置参数并发送邮件
2020/06/16 Python
python Xpath语法的使用
2020/11/26 Python
Laura Mercier官网:彩妆大师罗拉玛斯亚的化妆品牌
2018/01/04 全球购物
Nike瑞典官方网站:Nike.com (SE)
2018/11/26 全球购物
英国在线潜水商店:Simply Scuba
2019/03/25 全球购物
人力资源行政经理自我评价
2013/10/23 职场文书
家长会学生家长演讲稿
2013/12/29 职场文书
2015年乡镇纪委工作总结
2015/05/26 职场文书
监护人证明
2015/06/19 职场文书
钢铁是怎样炼成的读书笔记
2015/06/29 职场文书
婚礼双方父亲致辞
2015/07/27 职场文书
爱国主题班会教案
2015/08/14 职场文书
swagger如何返回map字段注释
2021/07/03 Java/Android
Python学习之异常中的finally使用详解
2022/03/16 Python