python 并发编程 多路复用IO模型详解


Posted in Python onAugust 20, 2019

多路复用IO(IO multiplexing)

这种IO方式为事件驱动IO(event driven IO)。

我们都知道,select/epoll的好处就在于单个进程process就可以同时处理多个网络连接的IO。它的基本原理就是select/epoll这个function会不断的轮询所负责的所有socket,当某个socket有数据到达了,就通知用户进程。它的流程如图:

python 并发编程 多路复用IO模型详解

select是多路复用的一种

当用户进程调用了select,那么整个进程会被block,而同时,kernel会“监视”所有select负责的socket,
当任何一个socket中的数据准备好了,select就会返回。这个时候用户进程再调用read操作,将数据从kernel拷贝到用户进程。
这个图和blocking IO的图其实并没有太大的不同,事实上还更差一些。因为这里需要使用两个系统调用\(select和recvfrom\),
而blocking IO只调用了一个系统调用\(recvfrom\)。但是,用select的优势在于它可以同时处理多个connection。

多路复用IO比较阻塞IO模型:

1.阻塞IO经历两个阶段 wait data,copy data

2.多路复用3个阶段 wait data,ready copy data, copy data

单连接套接字通信 阻塞IO效率高

多路复用IO select可以代理多个套接字连接,多个套接字通信,多路复用IO效率高

强调:

1. 如果处理的连接数不是很高的话,使用select/epoll的web server不一定比使用multi-threading + blocking IO的web server性能更好,可能延迟还更大。select/epoll的优势并不是对于单个连接能处理得更快,而是在于能处理更多的连接。

2. 在多路复用模型中,对于每一个socket,一般都设置成为non-blocking,但是,如上图所示,整个用户的process其实是一直被block的。只不过process是被select这个函数block,而不是被socket IO给block。

结论: select的优势在于可以处理多个连接,性能高,同时可以检测多个套接字IO行为,不适用于单个连接

select网络IO模型示例

select 检测多个套接字IO行为 accept,recv

IO行为两种:

1.别人给我传数据

2.给别人发送数据

timeout是超时时间

每隔0.5秒去问操作系统准备好数据没有

def select(rlist, wlist, xlist, timeout=None): 
  pass
# [] 传的空列表是出异常的列表
# 返回值3个列表 收列表,发列表,异常列表
rl,wl,xl = select.select(rlist, wlist, [], 0.5)

客户端:

from socket import *
client = socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8000))
while True:
  msg = input(">>>:").strip()
  if not msg:continue
  client.send(msg.encode("utf-8"))
  data = client.recv(1024)
  print(data.decode("utf-8"))
client.close()

服务端代码:

from socket import *
import select
server = socket(AF_INET,SOCK_STREAM)
server.bind(('127.0.0.1',8000))
server.listen(5)
# 设置socket接口为 非阻塞IO接口
# 默认是True 为阻塞
server.setblocking(False)
# 专门存着收消息套接字
rlist = [server,]
# 存放发送消息套接字
wlist = []
# 存放发送的数据
wdata = {}
while True:
  # 返回值3个列表 收列表,发列表,异常列表
  rl,wl,xl = select.select(rlist, wlist, [], 0.5)
  print("rl",rl)
  print("wl",wl)
  for sock in rl:
    if sock == server:
      conn,addr = sock.accept()
      rlist.append(conn)
    else:
      try:
        data = sock.recv(1024)
        if not data:
          sock.close()
          rlist.remove(sock)
          continue
        # 收的套接字加到列表
        wlist.append(sock)
        # 把数据加到字典 做一个 套接字对应数据
        wdata[sock] = data.upper()

      except Exception:
        sock.close()
        rlist.remove(sock)
  # 发送数据
  for sock in wl:
    sock.send(wdata[sock])
    wlist.remove(sock)
    wdata.pop(sock)
server.close()

基于select模块 检测套接字IO行为,实现并发效果

select监听fd变化的过程分析:

用户进程创建socket对象,拷贝监听的fd到内核空间,每一个fd会对应一张系统文件表,内核空间的fd响应到数据后,
就会发送信号给用户进程数据已到;

用户进程再发送系统调用,比如(accept)将内核空间的数据copy到用户空间,同时作为接受数据端内核空间的数据清除,
这样重新监听时fd再有新的数据又可以响应到了(发送端因为基于TCP协议所以需要收到应答后才会清除)。

该模型的优点:

可以同时检测多个套接字,效率比阻塞IO,非阻塞IO高了

相比其他模型,使用select() 的事件驱动模型只用单线程(进程)执行,占用资源少,不消耗太多 CPU,同时能够为多客户端提供服务。

如果试图建立一个简单的事件驱动的服务器程序,这个模型有一定的参考价值。

该模型的缺点:

代理的套接字 列表里的多个套接字,需要循环列表 一个个检测,

在代理套接字比较少的情况下,循环比较快。但select代理的套接字非常多的情况下,select随着列表增大,效率就越来越慢

首先select()接口并不是实现“事件驱动”的最好选择。因为当需要探测的句柄值较大时,select()接口本身需要消耗大量时间去轮询各个句柄。

很多操作系统提供了更为高效的接口,如linux提供了epoll,BSD提供了kqueue,Solaris提供了/dev/poll,…。
如果需要实现更高效的服务器程序,类似epoll这样的接口更被推荐。遗憾的是不同的操作系统特供的epoll接口有很大差异,
所以使用类似于epoll的接口实现具有较好跨平台能力的服务器会比较困难。
其次,该模型将事件探测和事件响应夹杂在一起,一旦事件响应的执行体庞大,则对整个模型是灾难性的。

epoll是异步方式实现,提交套接字时候,每个套接字身上都绑定一个回调函数,哪个套接字准备好了,就触发回调函数,把自己索引放在单独列表里,对于select来说,只需要去准备好的列表里 根据索引拿到套接字,这样不需要在列表里每个遍历。

epoll不支持windows系统

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python执行时间的计算方法小结
Mar 17 Python
Python学习笔记之解析json的方法分析
Apr 21 Python
Python3 XML 获取雅虎天气的实现方法
Feb 01 Python
Python中的延迟绑定原理详解
Oct 11 Python
python实现批量文件重命名
Oct 31 Python
Python CSV文件模块的使用案例分析
Dec 21 Python
python与mysql数据库交互的实现
Jan 06 Python
python对XML文件的操作实现代码
Mar 27 Python
200行python代码实现贪吃蛇游戏
Apr 24 Python
python实现俄罗斯方块小游戏
Apr 24 Python
Python基于Faker假数据构造库
Nov 30 Python
使用pandas生成/读取csv文件的方法实例
Jul 09 Python
关于pytorch中网络loss传播和参数更新的理解
Aug 20 #Python
对pytorch中的梯度更新方法详解
Aug 20 #Python
PyTorch: 梯度下降及反向传播的实例详解
Aug 20 #Python
python爬虫 urllib模块发起post请求过程解析
Aug 20 #Python
pytorch 加载(.pth)格式的模型实例
Aug 20 #Python
python multiprocessing模块用法及原理介绍
Aug 20 #Python
python 并发编程 阻塞IO模型原理解析
Aug 20 #Python
You might like
php排序算法(冒泡排序,快速排序)
2012/10/09 PHP
PHP实现懒加载的方法
2015/03/07 PHP
PHP将Excel导入数据库及数据库数据导出至Excel的方法
2015/06/24 PHP
javascript中的throttle和debounce浅析
2014/06/06 Javascript
node.js中的fs.lchownSync方法使用说明
2014/12/16 Javascript
使用javascript实现简单的选项卡切换
2015/01/09 Javascript
javascript和jQuery实现网页实时聊天的ajax长轮询
2016/07/20 Javascript
Three.js学习之几何形状
2016/08/01 Javascript
JS+CSS3模拟溢出滚动效果
2016/08/12 Javascript
浅析JavaScript中break、continue和return的区别
2016/11/30 Javascript
JS中使用new Date(str)创建时间对象不兼容firefox和ie的解决方法(两种)
2016/12/14 Javascript
基于react框架使用的一些细节要点的思考
2017/05/31 Javascript
Three.js入门之hello world以及如何绘制线
2017/09/25 Javascript
Vue 2.0入门基础知识之内部指令详解
2017/10/15 Javascript
layui从数据库中获取复选框的值并默认选中方法
2018/08/15 Javascript
微信小程序项目总结之记账小程序功能的实现(包括后端)
2019/08/20 Javascript
JavaScript实现省市联动效果
2019/11/22 Javascript
详解vue3中组件的非兼容变更
2021/03/03 Vue.js
python检测lvs real server状态
2014/01/22 Python
python实现基于SVM手写数字识别功能
2020/05/27 Python
使用Python微信库itchat获得好友和群组已撤回的消息
2018/06/24 Python
Python判断字符串是否为字母或者数字(浮点数)的多种方法
2018/08/03 Python
pyftplib中文乱码问题解决方案
2020/01/11 Python
python数据预处理 :数据抽样解析
2020/02/24 Python
Django模板标签中url使用详解(url跳转到指定页面)
2020/03/19 Python
python上传时包含boundary时的解决方法
2020/04/08 Python
pycharm导入源码的具体步骤
2020/08/04 Python
Django Auth用户认证组件实现代码
2020/10/13 Python
英国图书音像网站:Hive.co.uk(图书、电子书、DVD、蓝光、音乐CD等)
2017/10/16 全球购物
XML文档定义有几种形式?它们之间有何本质区别?解析XML文档有哪几种方式?
2016/01/12 面试题
大学生水文观测实习自我鉴定
2013/09/29 职场文书
物理教育专业毕业生推荐信
2013/11/03 职场文书
创先争优承诺书
2015/01/20 职场文书
加薪通知
2015/04/25 职场文书
Web前端:CSS最强总结 附详细代码
2021/03/31 HTML / CSS
Java8 Stream API 提供了一种高效且易于使用的处理数据的方式
2022/04/13 Java/Android