python 并发编程 阻塞IO模型原理解析


Posted in Python onAugust 20, 2019

阻塞IO(blocking IO)

在linux中,默认情况下所有的socket都是blocking,一个典型的读操作流程大概是这样:

当用户进程调用了recvfrom这个系统调用,kernel内核就开始了IO的第一个阶段:准备数据。对于network io( 网络io )来说,很多时候数据在一开始还没有到达(比如,还没有收到一个完整的UDP包),这个时候kernel( 内核 )就要等待足够的数据到来。

等着对方把数据放到自己操作系统内存

而在用户进程这边,整个进程会被阻塞。当kernel一直等到数据准备好了,它就会将数据从kernel操作系统缓存中拷贝到用户应用程序内存,

然后kernel返回结果,用户进程才解除block的状态,重新运行起来。

这就是阻塞IO

所以,blocking IO的特点就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了

网络编程都是从listen\(\)、send\(\)、recv\(\) 等接口开始的,
使用这些接口可以很方便的构建服务器/客户机的模型。然而大部分的socket接口都是阻塞型的。如下图

ps:

所谓阻塞型接口是指系统调用(一般是IO接口)不返回调用结果并让当前线程一直阻塞
只有当该系统调用获得结果或者超时出错时才返回。

服务端:

from socket import *
server = socket(AF_INET,SOCK_STREAM)
server.bind(('127.0.0.1',8000))
server.listen(5)
while True:
  print("starting...")
  conn,addr = server.accept()
  print(addr)
  while True:
    try:
      data = conn.recv(1024)
      if not data:break
      conn.send(data.upper())
    except ConnectionResetError:
      break
server.close()

客户端

from socket import *
client = socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8000))
while True:
  msg = input(">>>:").strip()
  if not msg:continue
  client.send(msg.encode("utf-8"))
  data = client.recv(1024)
  print(data.decode("utf-8"))
client.close()

python 并发编程 阻塞IO模型原理解析

实际上,除非特别指定,几乎所有的IO接口 ( 包括socket接口 ) 都是阻塞型的。这给网络编程带来了一个很大的问题,如在调用recv(1024)的同时,线程将被阻塞,在此期间,线程将无法执行任何运算或响应任何的网络请求。

一个简单的解决方案:

在服务器端使用多线程(或多进程)。多线程(或多进程)的目的是让每个连接都拥有独立的线程(或进程),
这样任何一个连接的阻塞都不会影响其他的连接。

该方案的问题是 :

开启多进程或都线程的方式,在遇到要同时响应成百上千路的连接请求,则无论多线程还是多进程都会严重占据系统资源,
降低系统对外界响应效率,而且线程与进程本身也更容易进入假死状态。
随着客户端数量增多,无限制的开线程,开销非常大
不能解决阻塞IO问题 ,解决思路:起多线程

改进方案:

使用“线程池”或“连接池”。“线程池”旨在减少创建和销毁线程的频率,
其维持一定合理数量的线程,并让空闲的线程重新承担新的执行任务。“连接池”维持连接的缓存池,尽量重用已有的连接、
减少创建和关闭连接的频率。这两种技术都可以很好的降低系统开销,都被广泛应用很多大型系统,如websphere、tomcat和各种数据库等。

改进后方案其实也存在着问题:

“线程池”和“连接池”技术也只是在一定程度上缓解了频繁调用IO接口带来的资源占用。而且,所谓“池”始终是有限,
当请求大大超过上限时,“池”构成的系统对外界的响应并不比没有池的时候效果好多少。所以使用“池”必须考虑其面临的响应规模,

并根据响应规模调整“池”的大小。

线程池应该随着规模数调大,但是调大线程池,要在机器可承受范围之内。不能把线程池无限调大,这样相当于无限开线程一样,

多线程还是要用在规模比较小的情况

对应上例中的所面临的可能同时出现的上千甚至上万次的客户端请求,“线程池”或“连接池”或许可以缓解部分压力,但是不能解决所有问题。总之,多线程模型可以方便高效的解决小规模的服务请求,但面对大规模的服务请求,多线程模型也会遇到瓶颈,可以用非阻塞接口来尝试解决这个问题。

总结:

始综没有解决单线程遇到IO问题,单线程遇到IO,就阻塞,用的是阻塞IO模型。

阻塞IO模型就是遇到IO阻塞不处理,就在原地等着。

应该:

监测单线程IO,遇到IO了,这个线程不要阻塞。直接切换到另外一个线程运行,这样单线程效率就非常高了。

要解决的问题是:

单线程IO问题

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python采用raw_input读取输入值的方法
Aug 18 Python
Python列表计数及插入实例
Dec 17 Python
在Python中操作时间之strptime()方法的使用
Dec 30 Python
详解python中xlrd包的安装与处理Excel表格
Dec 16 Python
Python实现简单遗传算法(SGA)
Jan 29 Python
python定时检测无响应进程并重启的实例代码
Apr 22 Python
Python 内置变量和函数的查看及说明介绍
Dec 25 Python
Python中sorted()排序与字母大小写的问题
Jan 14 Python
python 串行执行和并行执行实例
Apr 30 Python
详解Django的MVT设计模式
Apr 29 Python
python之PySide2安装使用及QT Designer UI设计案例教程
Jul 26 Python
详解Python如何批量采集京东商品数据流程
Jan 22 Python
PyTorch中常用的激活函数的方法示例
Aug 20 #Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
You might like
PHP 危险函数解释 分析
2009/04/22 PHP
PHP实现获取某个月份周次信息的方法
2015/08/11 PHP
Smarty变量用法详解
2016/05/11 PHP
PHP类和对象相关系统函数与运算符小结
2016/09/28 PHP
jQuery循环动画与获取组件尺寸的方法
2015/02/02 Javascript
jQuery实现鼠标滑过Div层背景变颜色的方法
2015/02/17 Javascript
Javascript实现计算个人所得税
2015/05/10 Javascript
Angularjs中的事件广播 —全面解析$broadcast,$emit,$on
2016/05/17 Javascript
jQuery前端开发35个小技巧
2016/05/24 Javascript
无缝滚动的简单实现代码(推荐)
2016/06/07 Javascript
jQuery简单实现title提示效果示例
2016/08/01 Javascript
详解微信小程序开发之——wx.showToast(OBJECT)的使用
2017/01/18 Javascript
vue中路由验证和相应拦截的使用详解
2017/12/13 Javascript
Angular 向组件传递模板的两种方法
2018/02/23 Javascript
Vue源码探究之状态初始化
2018/11/14 Javascript
Vue性能优化的方法
2020/07/30 Javascript
Python魔术方法详解
2015/02/14 Python
Python+matplotlib实现华丽的文本框演示代码
2018/01/22 Python
python操作redis方法总结
2018/06/06 Python
Python装饰器简单用法实例小结
2018/12/03 Python
对Python信号处理模块signal详解
2019/01/09 Python
python将logging模块封装成单独模块并实现动态切换Level方式
2020/05/12 Python
keras小技巧——获取某一个网络层的输出方式
2020/05/23 Python
python利用platform模块获取系统信息
2020/10/09 Python
字中字效果的实现【html5实例】
2016/05/03 HTML / CSS
canvas实现手机的手势解锁的步骤详细
2020/03/16 HTML / CSS
用canvas显示验证码的实现
2020/04/10 HTML / CSS
大韩航空官方网站:Korean Air
2017/10/25 全球购物
港湾网络笔试题
2014/04/19 面试题
红色故事演讲稿
2014/05/22 职场文书
教研处工作方案
2014/05/26 职场文书
领导班子整改方案
2014/10/25 职场文书
九年级数学教学反思
2016/02/17 职场文书
python字典进行运算原理及实例分享
2021/08/02 Python
SQL基础的查询语句
2021/11/11 MySQL
JavaScript实现优先级队列
2021/12/06 Javascript