基于python生成器封装的协程类


Posted in Python onMarch 20, 2019

自从python2.2提供了yield关键字之后,python的生成器的很大一部分用途就是可以用来构建协同程序,能够将函数挂起返回中间值并能从上次离开的地方继续执行。python2.5的时候,这种生成器更加接近完全的协程,因为提供了将值和异常传递回到一个继续执行的函数中,当等待生成器的时候,生成器能返回控制。

python提供的生成器设施:

  • yield:能够将自己挂起,并提供一个返回值给等待方
  • send:唤起一个被挂起的生成器,并能够传递一个参数,可以在生成器中抛出异常
  • next:本质上相当于send(None),对每个生成器的第一次调用必须不能传递参数
  • close:主动退出一个生成器

python封装

虽然python3提供了asyncio这样的异步IO库,而且也有greenlet等其他协程库,但目前的需求并不是实际的网络IO并发操作,而是需要模拟状态机的运行,因此使用协程可以很方便的模拟,并加入认为的控制,下面是封装的一个python类。

class Coroutine(object):

  """ Base class of the general coroutine object """

  STATE_RUNNING = 0
  STATE_WAITING = 1
  STATE_CLOSING = 2

  def __init__(self):
    self.state = Coroutine.STATE_WAITING
    self.started = False
    self.args = None
    self.routine = self._co()

  def _co(self):
    self.ret = None
    while True:
      self.args = yield self.ret
      if not self.started:
        self.started = True
        continue
      else:
        self.state = Coroutine.STATE_RUNNING
        self.ret = self.run(self.args)
      if self.state == Coroutine.STATE_CLOSING:
        break
      self.state = Coroutine.STATE_WAITING

  def start(self):
    """ Start the generator """
    if self.routine is None:
      raise RuntimeError('NO task to start running!')
    self.started = True
    self.routine.next()

  def finish(self):
    """ Finish the execution of this routine """
    self.state = Coroutine.STATE_CLOSING
    self.routine.close()

  def run(self, args):
    """ The runing method to be executed every once time"""
    raise NotImplementedError

  def execute(self, arg_obj):
    """ Awake this routine to execute once time """
    return self.routine.send(arg_obj)

基于上述封装,下面实现了一个协同的生产者消费者示例:

class ProducerCoroutine(Coroutine):

  """ The Producer concrete coroutine """

  def __init__(self, cnsmr):
    if not isinstance(cnsmr, Coroutine):
      raise RuntimeError('Consumer is not a Coroutine object')
    self.consumer = cnsmr
    self.consumer.start()
    super(ProducerCoroutine, self).__init__()

  def run(self, args):
    print 'produce ', args
    ret = self.consumer.execute(args)
    print 'consumer return:', ret

  def __call__(self, args):
    """ Custom method for the specific logic """
    self.start()
    while len(args) > 0:
      p = args.pop()
      self.execute(p)
    self.finish()


class ConsumerCoroutine(Coroutine):

  """ The Consumer concrete coroutine """

  def __init__(self):
    super(ConsumerCoroutine, self).__init__()

  def run(self, args):
    print 'consumer get args: ', args
    return 'hahaha' + repr(args)

运行结果如下:

produce 4
consumer get args: 4
consumer return: hahaha4
produce 3
consumer get args: 3
consumer return: hahaha3
produce 2
consumer get args: 2
consumer return: hahaha2
produce 1
consumer get args: 1
consumer return: hahaha1
produce 0
consumer get args: 0
consumer return: hahaha0

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python正则匹配抓取豆瓣电影链接和评论代码分享
Dec 27 Python
python教程之用py2exe将PY文件转成EXE文件
Jun 12 Python
Python变量作用范围实例分析
Jul 07 Python
使用Python的Django框架结合jQuery实现AJAX购物车页面
Apr 11 Python
Python简单实现子网掩码转换的方法
Apr 13 Python
Python处理文本换行符实例代码
Feb 03 Python
docker-py 用Python调用Docker接口的方法
Aug 30 Python
Python 字符串、列表、元组的截取与切片操作示例
Sep 17 Python
python初步实现word2vec操作
Jun 09 Python
opencv 形态学变换(开运算,闭运算,梯度运算)
Jul 07 Python
python基于opencv实现人脸识别
Jan 04 Python
详解Python爬虫爬取博客园问题列表所有的问题
Jan 18 Python
python实现栅栏加解密 支持密钥加密
Mar 20 #Python
python实现Virginia无密钥解密
Mar 20 #Python
python实现维吉尼亚加密法
Mar 20 #Python
Python multiprocess pool模块报错pickling error问题解决方法分析
Mar 20 #Python
python实现对输入的密文加密
Mar 20 #Python
python实现字符串加密成纯数字
Mar 19 #Python
python实现简单加密解密机制
Mar 19 #Python
You might like
WINXP下apache+php4+mysql
2006/11/25 PHP
支持生僻字且自动识别utf-8编码的php汉字转拼音类
2014/06/27 PHP
PHP实现图片不变型裁剪及图片按比例裁剪的方法
2016/01/14 PHP
学习JavaScript的最佳方法分享
2011/10/21 Javascript
JS重要知识点小结
2011/11/06 Javascript
推荐40个非常优秀的jQuery插件和教程【系列三】
2011/11/09 Javascript
jquery删除提示框弹出是否删除对话框
2014/01/07 Javascript
js中flexible.js实现淘宝弹性布局方案
2020/06/23 Javascript
浅析JavaScript Array和string的转换(推荐)
2016/05/20 Javascript
JavaScript的六种继承方式(推荐)
2017/06/26 Javascript
jquery实现点击a链接,跳转之后,该a链接处显示背景色的方法
2018/01/18 jQuery
Vue单页面应用保证F5强刷不清空数据的解决方案
2018/01/31 Javascript
JS 实现微信扫一扫功能
2018/09/14 Javascript
详解webpack+ES6+Sass搭建多页面应用
2018/11/05 Javascript
jQuery操作事件完整实例分析
2020/01/10 jQuery
解决vue prop传值default属性如何使用,为何不生效的问题
2020/09/21 Javascript
Nuxt 嵌套路由nuxt-child组件用法(父子页面组件的传值)
2020/11/05 Javascript
vue 通过base64实现图片下载功能
2020/12/19 Vue.js
Python中实现从目录中过滤出指定文件类型的文件
2015/02/02 Python
浅析Python的Django框架中的Memcached
2015/07/23 Python
浅谈Series和DataFrame中的sort_index方法
2018/06/07 Python
python之django母板页面的使用
2018/07/03 Python
python判断数字是否是超级素数幂
2018/09/27 Python
python 模拟登录B站的示例代码
2020/12/15 Python
HTML5+CSS3模仿优酷视频截图功能示例
2017/01/05 HTML / CSS
澳大利亚墨尔本的在线时装店:LORETA
2018/09/14 全球购物
德国苹果商店:MacTrade
2020/05/18 全球购物
说说你所熟悉或听说过的j2ee中的几种常用模式?及对设计模式的一些看法
2012/05/24 面试题
如何开启linux的ssh服务
2013/06/03 面试题
主持词开场白
2014/03/17 职场文书
个人培训自我鉴定
2014/03/28 职场文书
学习党的群众路线剖析材料
2014/10/09 职场文书
缓刑期间思想汇报范文
2014/10/10 职场文书
2015年设计师个人工作总结
2015/04/25 职场文书
Python+Selenium实现读取网易邮箱验证码
2022/03/13 Python
Mysql 如何合理地统计一个数据库里的所有表的数据量
2022/04/18 MySQL