python 并发编程 阻塞IO模型原理解析


Posted in Python onAugust 20, 2019

阻塞IO(blocking IO)

在linux中,默认情况下所有的socket都是blocking,一个典型的读操作流程大概是这样:

当用户进程调用了recvfrom这个系统调用,kernel内核就开始了IO的第一个阶段:准备数据。对于network io( 网络io )来说,很多时候数据在一开始还没有到达(比如,还没有收到一个完整的UDP包),这个时候kernel( 内核 )就要等待足够的数据到来。

等着对方把数据放到自己操作系统内存

而在用户进程这边,整个进程会被阻塞。当kernel一直等到数据准备好了,它就会将数据从kernel操作系统缓存中拷贝到用户应用程序内存,

然后kernel返回结果,用户进程才解除block的状态,重新运行起来。

这就是阻塞IO

所以,blocking IO的特点就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了

网络编程都是从listen\(\)、send\(\)、recv\(\) 等接口开始的,
使用这些接口可以很方便的构建服务器/客户机的模型。然而大部分的socket接口都是阻塞型的。如下图

ps:

所谓阻塞型接口是指系统调用(一般是IO接口)不返回调用结果并让当前线程一直阻塞
只有当该系统调用获得结果或者超时出错时才返回。

服务端:

from socket import *
server = socket(AF_INET,SOCK_STREAM)
server.bind(('127.0.0.1',8000))
server.listen(5)
while True:
  print("starting...")
  conn,addr = server.accept()
  print(addr)
  while True:
    try:
      data = conn.recv(1024)
      if not data:break
      conn.send(data.upper())
    except ConnectionResetError:
      break
server.close()

客户端

from socket import *
client = socket(AF_INET,SOCK_STREAM)
client.connect(('127.0.0.1',8000))
while True:
  msg = input(">>>:").strip()
  if not msg:continue
  client.send(msg.encode("utf-8"))
  data = client.recv(1024)
  print(data.decode("utf-8"))
client.close()

python 并发编程 阻塞IO模型原理解析

实际上,除非特别指定,几乎所有的IO接口 ( 包括socket接口 ) 都是阻塞型的。这给网络编程带来了一个很大的问题,如在调用recv(1024)的同时,线程将被阻塞,在此期间,线程将无法执行任何运算或响应任何的网络请求。

一个简单的解决方案:

在服务器端使用多线程(或多进程)。多线程(或多进程)的目的是让每个连接都拥有独立的线程(或进程),
这样任何一个连接的阻塞都不会影响其他的连接。

该方案的问题是 :

开启多进程或都线程的方式,在遇到要同时响应成百上千路的连接请求,则无论多线程还是多进程都会严重占据系统资源,
降低系统对外界响应效率,而且线程与进程本身也更容易进入假死状态。
随着客户端数量增多,无限制的开线程,开销非常大
不能解决阻塞IO问题 ,解决思路:起多线程

改进方案:

使用“线程池”或“连接池”。“线程池”旨在减少创建和销毁线程的频率,
其维持一定合理数量的线程,并让空闲的线程重新承担新的执行任务。“连接池”维持连接的缓存池,尽量重用已有的连接、
减少创建和关闭连接的频率。这两种技术都可以很好的降低系统开销,都被广泛应用很多大型系统,如websphere、tomcat和各种数据库等。

改进后方案其实也存在着问题:

“线程池”和“连接池”技术也只是在一定程度上缓解了频繁调用IO接口带来的资源占用。而且,所谓“池”始终是有限,
当请求大大超过上限时,“池”构成的系统对外界的响应并不比没有池的时候效果好多少。所以使用“池”必须考虑其面临的响应规模,

并根据响应规模调整“池”的大小。

线程池应该随着规模数调大,但是调大线程池,要在机器可承受范围之内。不能把线程池无限调大,这样相当于无限开线程一样,

多线程还是要用在规模比较小的情况

对应上例中的所面临的可能同时出现的上千甚至上万次的客户端请求,“线程池”或“连接池”或许可以缓解部分压力,但是不能解决所有问题。总之,多线程模型可以方便高效的解决小规模的服务请求,但面对大规模的服务请求,多线程模型也会遇到瓶颈,可以用非阻塞接口来尝试解决这个问题。

总结:

始综没有解决单线程遇到IO问题,单线程遇到IO,就阻塞,用的是阻塞IO模型。

阻塞IO模型就是遇到IO阻塞不处理,就在原地等着。

应该:

监测单线程IO,遇到IO了,这个线程不要阻塞。直接切换到另外一个线程运行,这样单线程效率就非常高了。

要解决的问题是:

单线程IO问题

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python统计文件行数示例分享
Feb 21 Python
python中将字典转换成其json字符串
Jul 16 Python
scrapy自定义pipeline类实现将采集数据保存到mongodb的方法
Apr 16 Python
一篇文章入门Python生态系统(Python新手入门指导)
Dec 11 Python
Python正则获取、过滤或者替换HTML标签的方法
Jan 28 Python
python基础之入门必看操作
Jul 26 Python
在Django中URL正则表达式匹配的方法
Dec 20 Python
Python爬虫学习之获取指定网页源码
Jul 30 Python
linux centos 7.x 安装 python3.x 替换 python2.x的过程解析
Dec 14 Python
django中ImageField的使用详解
Dec 21 Python
python 自动刷新网页的两种方法
Apr 20 Python
python绘制简单直方图(质量分布图)的方法
Apr 21 Python
PyTorch中常用的激活函数的方法示例
Aug 20 #Python
Pytorch抽取网络层的Feature Map(Vgg)实例
Aug 20 #Python
python批量解压zip文件的方法
Aug 20 #Python
pytorch获取vgg16-feature层输出的例子
Aug 20 #Python
python 并发编程 非阻塞IO模型原理解析
Aug 20 #Python
Python实现某论坛自动签到功能
Aug 20 #Python
python函数的作用域及关键字详解
Aug 20 #Python
You might like
PHP数组操作――获取数组最后一个值的方法
2015/04/14 PHP
给WordPress中的留言加上楼层号的PHP代码实例
2015/12/14 PHP
CI框架中类的自动加载问题分析
2016/11/21 PHP
yii2 commands模式以及配置crontab定时任务的方法
2017/08/19 PHP
防止动态加载JavaScript引起的内存泄漏问题
2009/10/08 Javascript
基于JQUERY的两个ListBox子项互相调整的实现代码
2011/05/07 Javascript
单击按钮显示隐藏子菜单经典案例
2013/01/04 Javascript
JavaScript使用concat连接数组的方法
2015/04/06 Javascript
jquery实现顶部向右伸缩的导航区域代码
2015/09/02 Javascript
深入解析JavaScript的闭包机制
2015/10/20 Javascript
通过Jquery.cookie.js实现展示浏览网页的历史记录超管用
2015/10/23 Javascript
JS仿百度自动下拉框模糊匹配提示
2016/07/25 Javascript
vue使用keep-alive实现数据缓存不刷新
2017/10/21 Javascript
JS设计模式之观察者模式实现实时改变页面中金额数的方法
2018/02/05 Javascript
iview日期控件,双向绑定日期格式的方法
2018/03/15 Javascript
微信小程序实现简单评论功能
2018/11/28 Javascript
python 快速排序代码
2009/11/23 Python
使用Python实现一个简单的项目监控
2015/03/31 Python
python opencv之SURF算法示例
2018/02/24 Python
Python操作word常见方法示例【win32com与docx模块】
2018/07/17 Python
python 多线程串行和并行的实例
2019/02/22 Python
Python基于opencv实现的简单画板功能示例
2019/03/04 Python
Numpy的简单用法小结
2019/08/28 Python
opencv resize图片为正方形尺寸的实现方法
2019/12/26 Python
解决导入django_filters不成功问题No module named 'django_filter'
2020/07/15 Python
CSS3 选择器 基本选择器介绍
2012/01/21 HTML / CSS
css3实现背景颜色渐变让图片不再是唯一的实现方式
2012/12/18 HTML / CSS
西班牙英格列斯百货法国官网:El Corte Inglés法国
2017/07/09 全球购物
德国高性价比网上药店:medpex
2017/07/09 全球购物
升旗仪式主持词
2014/03/19 职场文书
大宝sod蜜广告词
2014/03/21 职场文书
班级学雷锋活动总结
2014/06/26 职场文书
国际贸易本科毕业生求职信
2014/09/26 职场文书
学院党的群众路线教育实践活动整改方案
2014/10/04 职场文书
春节慰问简报
2015/07/21 职场文书
党员学习中国梦心得体会
2016/01/05 职场文书