Python gevent协程切换实现详解


Posted in Python onSeptember 14, 2020

一、背景

大家都知道gevent的机制是单线程+协程机制,当遇到可能会阻塞的操作时,就切换到可运行的协程中继续运行,以此来实现提交系统运行效率的目标,但是具体是怎么实现的呢?让我们直接从代码中看一下吧。

二、切换机制

让我们从socket的send、recv方法入手:

def recv(self, *args):
  while 1:
    try:
      return self._sock.recv(*args)
    except error as ex:
      if ex.args[0] != EWOULDBLOCK or self.timeout == 0.0:
        raise
      # QQQ without clearing exc_info test__refcount.test_clean_exit fails
      sys.exc_clear()
    self._wait(self._read_event)

这里会开启一个死循环,在循环中调用self._sock.recv()方法,并捕获异常,当错误是EWOULDBLOCK时,则调用self._wait(self._read_event)方法,该方法其实是:_wait = _wait_on_socket,_wait_on_socket方法的定义在文件:_hub_primitives.py中,如下:

# Suitable to be bound as an instance method
def wait_on_socket(socket, watcher, timeout_exc=None):
  if socket is None or watcher is None:
    # test__hub TestCloseSocketWhilePolling, on Python 2; Python 3
    # catches the EBADF differently.
    raise ConcurrentObjectUseError("The socket has already been closed by another greenlet")
  _primitive_wait(watcher, socket.timeout,
          timeout_exc if timeout_exc is not None else _NONE,
          socket.hub)

该方法其实是调用了函数:_primitive_wait(),其仍然在文件:_hub_primitives.py中定义,如下:

def _primitive_wait(watcher, timeout, timeout_exc, hub):
  if watcher.callback is not None:
    raise ConcurrentObjectUseError('This socket is already used by another greenlet: %r'
                    % (watcher.callback, ))

  if hub is None:
    hub = get_hub()

  if timeout is None:
    hub.wait(watcher)
    return

  timeout = Timeout._start_new_or_dummy(
    timeout,
    (timeout_exc
     if timeout_exc is not _NONE or timeout is None
     else _timeout_error('timed out')))

  with timeout:
    hub.wait(watcher)

这里其实是调用了hub.wait()函数,该函数的定义在文件_hub.py中,如下:

class WaitOperationsGreenlet(SwitchOutGreenletWithLoop): # pylint:disable=undefined-variable

  def wait(self, watcher):
    """
    Wait until the *watcher* (which must not be started) is ready.

    The current greenlet will be unscheduled during this time.
    """
    waiter = Waiter(self) # pylint:disable=undefined-variable
    watcher.start(waiter.switch, waiter)
    try:
      result = waiter.get()
      if result is not waiter:
        raise InvalidSwitchError(
          'Invalid switch into %s: got %r (expected %r; waiting on %r with %r)' % (
            getcurrent(), # pylint:disable=undefined-variable
            result,
            waiter,
            self,
            watcher
          )
        )
    finally:
      watcher.stop()

watcher.stop()

该类WaitOperationsGreenlet是Hub的基类,其方法wait中的逻辑是:生成一个Waiter对象,并调用watcher.start(waiter.switch, waiter)方法,watcher是最开始recv方法中使用的self._read_event,watcher是gevent的底层事件框架libev中的概念;同时还有一个waiter对象,它类似与python中的future概念,该对象有一个switch()方法以及get()方法,当没有得到结果没有准备好时,调用waiter.get()方法回导致协程被挂起;get()函数的定义如下:

def get(self):
  """If a value/an exception is stored, return/raise it. Otherwise until switch() or throw() is called."""
  if self._exception is not _NONE:
    if self._exception is None:
      return self.value
    getcurrent().throw(*self._exception) # pylint:disable=undefined-variable
  else:
    if self.greenlet is not None:
      raise ConcurrentObjectUseError('This Waiter is already used by %r' % (self.greenlet, ))
    self.greenlet = getcurrent() # pylint:disable=undefined-variable
    try:
      return self.hub.switch()
    finally:
      self.greenlet = None

在get()中最关键的是self.hub.switch()函数,该函数将执行权转移到hub,并继续运行,至此已经分析完了当在worker协程中从网络获取数据遇到阻塞时,如何避免阻塞并切换到hub中的实现,至于何时再切换会worker协程,我们后续再继续分析。

总结

要记得gevent中一个重要的概念,协程切换不是调用而是执行权的转移,从可能会阻塞的协程切换到hub,并由hub在合适的时机切换到另一个可以继续运行的协程继续执行;gevent通过这种形式实现了提高io密集型应用吞吐率的目标。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python脚本实现集群检测和管理功能
Mar 06 Python
一个Python最简单的接口自动化框架
Jan 02 Python
解决pandas read_csv 读取中文列标题文件报错的问题
Jun 15 Python
Django中的ajax请求
Oct 19 Python
python设计微型小说网站(基于Django+Bootstrap框架)
Jul 08 Python
python实现百度OCR图片识别过程解析
Jan 17 Python
TensorFlow设置日志级别的几种方式小结
Feb 04 Python
python+opencv实现移动侦测(帧差法)
Mar 20 Python
Jupyter notebook如何实现指定浏览器打开
May 13 Python
Django:使用filter的pk进行多值查询操作
Jul 15 Python
python爬虫用mongodb的理由
Jul 28 Python
python读取excel数据绘制简单曲线图的完整步骤记录
Oct 30 Python
通过实例了解python__slots__使用方法
Sep 14 #Python
python如何遍历指定路径下所有文件(按按照时间区间检索)
Sep 14 #Python
详解python实现可视化的MD5、sha256哈希加密小工具
Sep 14 #Python
Python利用pip安装tar.gz格式的离线资源包
Sep 14 #Python
Python tkinter制作单机五子棋游戏
Sep 14 #Python
python安装cx_Oracle和wxPython的方法
Sep 14 #Python
python输入中文的实例方法
Sep 14 #Python
You might like
PHP中Header使用的HTTP协议及常用方法小结
2014/11/04 PHP
js 事件处理函数间的Event物件是否全等
2011/04/08 Javascript
Javascript自定义函数判断网站访问类型是PC还是移动终端
2014/01/10 Javascript
jquery 表格排序、实时搜索表格内容(附图)
2014/05/19 Javascript
javascript使用正则获取url上的某个参数
2014/09/04 Javascript
javascript实现在线客服效果
2015/07/15 Javascript
JavaScript必知必会(二) null 和undefined
2016/06/08 Javascript
解决循环中setTimeout执行顺序的问题
2018/06/20 Javascript
vue中el-upload上传图片到七牛的示例代码
2018/10/19 Javascript
vue element-ui table组件动态生成表头和数据并修改单元格格式 父子组件通信
2019/08/15 Javascript
django简单的前后端分离的数据传输实例 axios
2020/05/18 Javascript
浅析vue中的nextTick
2020/12/28 Vue.js
[38:54]完美世界DOTA2联赛PWL S2 Rebirth vs LBZS 第一场 11.28
2020/12/01 DOTA
python 巧用正则寻找字符串中的特定字符的位置方法
2018/05/02 Python
Django使用uwsgi部署时的配置以及django日志文件的处理方法
2019/08/30 Python
Django中间件拦截未登录url实例详解
2019/09/03 Python
树莓派安装OpenCV3完整过程的实现
2019/10/10 Python
python zip()函数使用方法解析
2019/10/31 Python
windows上彻底删除jupyter notebook的实现
2020/04/13 Python
利用Python的folium包绘制城市道路图的实现示例
2020/08/24 Python
详解Python流程控制语句
2020/10/28 Python
Python Web项目Cherrypy使用方法镜像
2020/11/05 Python
CSS3毛玻璃效果(blur)有白边问题的解决方法
2016/11/15 HTML / CSS
HTML5 canvas 基本语法
2009/08/26 HTML / CSS
欧洲著名的二手奢侈品网站:Vestiaire Collective
2020/03/07 全球购物
台湾7-ELEVEN线上购物中心:7-11
2021/01/21 全球购物
网络安全方面的面试题
2015/11/04 面试题
什么是用户模式(User Mode)与内核模式(Kernel Mode) ?
2014/07/21 面试题
设计毕业生简历中的自我评价
2013/10/01 职场文书
大学军训自我鉴定
2013/12/15 职场文书
工业设计专业自荐书
2014/06/05 职场文书
运动会加油口号
2014/06/07 职场文书
监察局领导班子四风问题整改措施思想汇报
2014/10/05 职场文书
2014年医院工作总结
2014/11/20 职场文书
2015年音乐教师个人工作总结
2015/05/20 职场文书
高一作文之乐趣
2019/11/21 职场文书