Python select及selectors模块概念用法详解


Posted in Python onJune 22, 2020

 1. select模块

针对select,要先理解其他几个概念:

文件描述符:

文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。

内核空间:

Linux简化了分段机制,使得虚拟地址与线性地址总是一致,因此,Linux的虚拟地址空间也为0~4G。Linux内核将这4G字节的空间分为两部分。将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF),供内核使用,称为“内核空间”。而将较低的3G字节(从虚拟地址 0x00000000到0xBFFFFFFF),供各个进程使用,称为“用户空间)。因为每个进程可以通过系统调用进入内核,因此,Linux内核由系统内的所有进程共享。于是,从具体进程的角度来看,每个进程可以拥有4G字节的虚拟空间。

内核空间中存放的是内核代码和数据,而进程的用户空间中存放的是用户程序的代码和数据。不管是内核空间还是用户空间,它们都处于虚拟空间中。

内核空间和用户空间一般通过系统调用进行通信。

select就是针对许多文件描述符(简称fd)进行监控,它有三个参数:

  • rlist -- wait until ready for reading
  • wlist -- wait until ready for writing
  • xlist -- wait for an "exceptional condition"

第一个参数监控 进来的 数据的fd列表,select监控这个列表,等待这些fd发送过来数据,一旦数据发送过来了(可以读取了),就返回一个可读的fd列表

第二个参数监控 出去的 数据的fd列表,select监控这个列表,等待这些fd发送出去数据,一旦fd准备好发送了(可以写入了),就返回一个可写的fd列表

第三个参数监控fd列表,返回出异常的fd列表

服务端:

import select
import socket
import sys
import queue

# 生成socket对象
server = socket.socket()
# 设置非阻塞模式
server.setblocking(False)

# 绑定地址,设置监听
server.bind(('localhost',9999))
server.listen(5)

# 将自己也放进待监测列表里
inputs = [server, ]
outputs = []
message_queues = {}

while True:
  '''
  关于socket可读可写的判断,可以参考博客:https://blog.csdn.net/majianfei1023/article/details/45788591
  '''
  rlist, wlist, elist = select.select(inputs,outputs,inputs) #如果没有任何fd就绪,那程序就会一直阻塞在这里

  for r in rlist: # 遍历已经可以准备读取数据的 fd
    if r is server: # 如果这个 fd 是server,即 server 有数据待接收读取,说明有新的客户端连接过来了
      conn, client_addr = r.accept()
      print("new connection from",client_addr)
      conn.setblocking(False)
      inputs.append(conn) # 将这个新的客户端连接添加到检测的列表中
      message_queues[conn] = queue.Queue() # 用队列存储客户端发送来的数据,等待服务器统一返回数据

    else:     # 这个可读的 r 不是服务器,那就是某个客户端。就是说客户端发送数据过来了,这些数据处于待读取状态
      try:    # 异常处理,这是为了防止客户端异常断开报错(比如手动关掉客户端黑窗口,服务器也会跟着报错退出)
        data = r.recv(1024)
        if data:  # 根据判断data是否为空,判断客户端是否断开
          print("收到来自[%s]的数据:" % r.getpeername()[0], data)
          message_queues[r].put(data)  # 收到的数据先放到queue里,一会返回给客户端
          if r not in outputs:
            outputs.append(r)   # 放进可写的fd列表中,表明这些 fd 已经准备好去发送数据了。
        else:  # 如果数据为空,表明客户端断开了
          print('客户端断开了')
          if r in outputs:
            outputs.remove(r)  # 清理已断开的连接
          inputs.remove(r)     # 清理已断开的连接
          del message_queues[r]  # 清理已断开的连接
      except ConnectionResetError:   # 如果报错,说明客户端断开了
        print("客户端异常断开了", r)
        if r in outputs:
          outputs.remove(r)  # 清理已断开的连接
        inputs.remove(r)    # 清理已断开的连接
        del message_queues[r] # 清理已断开的连接

  for w in wlist:    # 遍历可写的 fd 列表,即准备好发送数据的那些fd
    # 判断队列是否为空
    try :
      next_msg = message_queues[w].get_nowait()
    except queue.Empty:
      # print("client [%s]" % w.getpeername()[0], "queue is empty..")
      outputs.remove(w)
    # 队列不为空,就把队列中的数据改成大写,原样发回去
    else:
      # print("sending msg to [%s]"% w.getpeername()[0], next_msg)
      w.send(next_msg.upper())

  for e in elist:  # 处理报错的 fd
    e.close()
    print("Error occured in ",e.getpeername())
    inputs.remove(e)
    if e in outputs:
      outputs.remove(e)
    del message_queues[e]

客户端:

import socket
import sys

sock = socket.socket()
sock.connect(('localhost',9999))
while True:
  c = input('>>>:').strip()
  sock.send(c.encode())
  data = sock.recv(1024)
  print(data.decode())

sock.close()

2. selectors模块

官方文档:https://docs.python.org/3/library/selectors.html

服务端:

import selectors
import socket

# 根据平台自动选择最佳的IO多路机制,比如linux就会选择epoll,windows会选择select
sel = selectors.DefaultSelector()

def accept(sock, mask):
  # 建立客户端连接
  conn, addr = sock.accept()
  print('accepted', conn, 'from', addr)
  # 设置非阻塞模式
  conn.setblocking(False)
  # 再次注册一个连接,将其加入监测列表中,
  sel.register(conn, selectors.EVENT_READ, read)

def read(conn, mask):
  try:  # 抛出客户端强制关闭的异常(如手动关闭客户端黑窗口)
    data = conn.recv(1000) # Should be ready
    if data:
      print('echoing', repr(data), 'to', conn)
      conn.send(data) # Hope it won't block
    else:
      print('Client closed.', conn)
      # 将conn从监测列表删除
      sel.unregister(conn)
      conn.close()
  except ConnectionResetError:
    print('Client forcibly closed.', conn)
    # 将conn从监测列表删除
    sel.unregister(conn)
    conn.close()

# 创建socket对象
sock = socket.socket()

# 绑定端口,设置监听
sock.bind(('localhost', 1234))
sock.listen(100)

# 设置为非阻塞模式
sock.setblocking(False)

# 注册一个文件对象,监测它的IO事件,data是和文件对象相关的数据(此处放置了一个 accept 函数的内存地址)
# register(fileobj, events, data=None)
sel.register(sock, selectors.EVENT_READ, accept)

while True:
  '''
  sel.select()
  看似是select方法,实际上会根据平台自动选择使用select还是epoll
  它返回一个(key, events)元组, key是一个namedtuple类型的元组,可以使用 key.name 获取元组的数据
  key 的内容(fileobj,fd,events,data):
    fileobj  已经注册的文件对象
    fd     也就是第一个参数的那个文件对象的更底层的文件描述符
    events   等待的IO事件
    data    可选项。可以存一些和fileobj有关的数据,如 sessioin 的 id
  '''
  events = sel.select()   # 监测有无活动对象,没有就阻塞在这里等待
  for key, mask in events: # 有活动对象了
    callback = key.data   # key.data 是注册时传递的 accept 函数
    callback(key.fileobj, mask)  # key.fileobj 就是传递的 socket 对象

客户端:

import socket
tin=socket.socket()
tin.connect(('localhost',1234))
while True:
  inp=input('>>>>')
  tin.send(inp.encode('utf8'))
  data=tin.recv(1024)
  print(data.decode('utf8'))

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用urllib2获取网络资源实例讲解
Dec 02 Python
Python中的默认参数详解
Jun 24 Python
Python实现找出数组中第2大数字的方法示例
Mar 26 Python
利用Python如何将数据写到CSV文件中
Jun 05 Python
对python:threading.Thread类的使用方法详解
Jan 31 Python
python中的decimal类型转换实例详解
Jun 26 Python
Django基础知识 URL路由系统详解
Jul 18 Python
DJango的创建和使用详解(默认数据库sqlite3)
Nov 18 Python
解决Opencv+Python cv2.imshow闪退问题
Apr 24 Python
使用Python FastAPI构建Web服务的实现
Jun 08 Python
使用keras实现BiLSTM+CNN+CRF文字标记NER
Jun 29 Python
Selenium alert 弹窗处理的示例代码
Aug 06 Python
tensorflow 2.0模式下训练的模型转成 tf1.x 版本的pb模型实例
Jun 22 #Python
利用Vscode进行Python开发环境配置的步骤
Jun 22 #Python
Python Excel vlookup函数实现过程解析
Jun 22 #Python
宝塔面板成功部署Django项目流程(图文)
Jun 22 #Python
python和php哪个更适合写爬虫
Jun 22 #Python
如何理解python对象
Jun 21 #Python
什么是python的必选参数
Jun 21 #Python
You might like
PHP入门
2006/10/09 PHP
jquery实现的鼠标下拉滚动置顶效果
2014/07/24 Javascript
jQuery实现跟随鼠标运动图层效果的方法
2015/02/02 Javascript
javascript获取当前的时间戳的方法汇总
2015/07/26 Javascript
一不小心就做错的JS闭包面试题
2015/11/25 Javascript
理解JavaScript中worker事件api
2015/12/25 Javascript
Angularjs中如何使用filterFilter函数过滤
2016/02/06 Javascript
原生ajax处理json格式数据的实例代码
2016/12/25 Javascript
基于ajax与msmq技术的消息推送功能实现代码
2016/12/26 Javascript
JS实现购物车特效
2017/02/02 Javascript
Django1.7+JQuery+Ajax验证用户注册集成小例子
2017/04/08 jQuery
vue webuploader 文件上传组件开发
2017/09/23 Javascript
JavaScript:ES2019 的新特性(译)
2019/08/08 Javascript
layui富文本编辑器前端无法取值的解决方法
2019/09/18 Javascript
动态实现element ui的el-table某列数据不同样式的示例
2021/01/22 Javascript
[34:08]2018DOTA2亚洲邀请赛3月29日 小组赛B组 VP VS EG
2018/03/30 DOTA
[26:50]2018完美盛典DOTA2表演赛
2018/12/17 DOTA
python代码检查工具pylint 让你的python更规范
2012/09/05 Python
Python中模拟enum枚举类型的5种方法分享
2014/11/22 Python
在python中利用KNN实现对iris进行分类的方法
2018/12/11 Python
python打包exe开机自动启动的实例(windows)
2019/06/28 Python
详解Python time库的使用
2019/10/10 Python
python实现用类读取文件数据并计算矩形面积
2020/01/18 Python
Python @property及getter setter原理详解
2020/03/31 Python
PyQt5实现简单的计算器
2020/05/30 Python
HTML5之消息通知的使用(Web Notification)
2018/10/30 HTML / CSS
软件生产职位结构化面试主要考察要素及面试题库
2015/06/12 面试题
超市促销实习自我鉴定
2013/09/23 职场文书
自我鉴定怎么写
2014/01/12 职场文书
2014物价局民主生活会对照检查材料思想汇报
2014/09/24 职场文书
教师节寄语2015
2015/03/23 职场文书
2015年审计人员工作总结
2015/05/26 职场文书
法定代表人身份证明书
2015/06/18 职场文书
在CSS中使用when/else的方法
2022/01/18 HTML / CSS
JS封装cavans多种滤镜组件
2022/02/15 Javascript
Vue2项目中对百度地图的封装使用详解
2022/06/16 Vue.js