理解生产者消费者模型及在Python编程中的运用实例


Posted in Python onJune 26, 2016

什么是生产者消费者模型

在 工作中,大家可能会碰到这样一种情况:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产 生数据的模块,就形象地称为生产者;而处理数据的模块,就称为消费者。在生产者与消费者之间在加个缓冲区,我们形象的称之为仓库,生产者负责往仓库了进商 品,而消费者负责从仓库里拿商品,这就构成了生产者消费者模型。结构图如下:

理解生产者消费者模型及在Python编程中的运用实例

生产者消费者模型的优点:

1、解耦

假设生产者和消费者分别是两个类。如果让生产者直接调用消费者的某个方法,那么生产者对于消费者就会产生依赖(也就是耦合)。将来如果消费者的代码发生变化, 可能会影响到生产者。而如果两者都依赖于某个缓冲区,两者之间不直接依赖,耦合也就相应降低了。

举个例子,我们去邮局投递信件,如果不使用邮筒(也就是缓冲区),你必须得把信直接交给邮递员。有同学会说,直接给邮递员不是挺简单的嘛?其实不简单,你必须 得认识谁是邮递员,才能把信给他(光凭身上穿的制服,万一有人假冒,就惨了)。这就产生和你和邮递员之间的依赖(相当于生产者和消费者的强耦合)。万一哪天邮递员换人了,你还要重新认识一下(相当于消费者变化导致修改生产者代码)。而邮筒相对来说比较固定,你依赖它的成本就比较低(相当于和缓冲区之间的弱耦合)。

2、支持并发

由于生产者与消费者是两个独立的并发体,他们之间是用缓冲区作为桥梁连接,生产者只需要往缓冲区里丢数据,就可以继续生产下一个数据,而消费者只需要从缓冲区了拿数据即可,这样就不会因为彼此的处理速度而发生阻塞。

接上面的例子,如果我们不使用邮筒,我们就得在邮局等邮递员,直到他回来,我们把信件交给他,这期间我们啥事儿都不能干(也就是生产者阻塞),或者邮递员得挨家挨户问,谁要寄信(相当于消费者轮询)。

3、支持忙闲不均

缓冲区还有另一个好处。如果制造数据的速度时快时慢,缓冲区的好处就体现出来了。当数据制造快的时候,消费者来不及处理,未处理的数据可以暂时存在缓冲区中。 等生产者的制造速度慢下来,消费者再慢慢处理掉。

为了充分复用,我们再拿寄信的例子来说事。假设邮递员一次只能带走1000封信。万一某次碰上情人节(也可能是圣诞节)送贺卡,需要寄出去的信超过1000封,这时 候邮筒这个缓冲区就派上用场了。邮递员把来不及带走的信暂存在邮筒中,等下次过来 时再拿走。

Python示例:
利用队列实现简单的生产者消费者模型,生产者产生时间放入队列,消费者取出时间打印

class Consumer(threading.Thread):
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self._queue = queue

  def run(self):
    while True:
      msg = self._queue.get()
      if isinstance(msg, str) and msg == 'quit':
        break
      print "I'm a thread, and I received %s!!" % msg
    print 'Bye byes!'


def producer():
  queue = Queue.Queue()
  worker = Consumer(queue)
  worker.start() # 开启消费者线程
  start_time = time.time()
  while time.time() - start_time < 5:
    queue.put('something at %s' % time.time())
    time.sleep(1)
  queue.put('quit')
  worker.join()


if __name__ == '__main__':
  producer()

   
使用多线程,在做爬虫的时候,生产者用着产生url链接,消费者用于获取url数据,在队列的帮助下可以使用多线程加快爬虫速度。

import time
import threading
import Queue
import urllib2

class Consumer(threading.Thread):
  def __init__(self, queue):
    threading.Thread.__init__(self)
    self._queue = queue

  def run(self):
    while True:
      content = self._queue.get()
      print content
      if isinstance(content, str) and content == 'quit':
        break
      response = urllib2.urlopen(content)
    print 'Bye byes!'


def Producer():
  urls = [
    'http://211.103.242.133:8080/Disease/Details.aspx?id=2258',
    'http://211.103.242.133:8080/Disease/Details.aspx?id=2258',
    'http://211.103.242.133:8080/Disease/Details.aspx?id=2258',
    'http://211.103.242.133:8080/Disease/Details.aspx?id=2258'
  ]
  queue = Queue.Queue()
  worker_threads = build_worker_pool(queue, 4)
  start_time = time.time()
  for url in urls:
    queue.put(url)

  for worker in worker_threads:
    queue.put('quit')
  for worker in worker_threads:
    worker.join()

  print 'Done! Time taken: {}'.format(time.time() - start_time)


def build_worker_pool(queue, size):
  workers = []
  for _ in range(size):
    worker = Consumer(queue)
    worker.start()
    workers.append(worker)
  return workers

if __name__ == '__main__':
  Producer()
Python 相关文章推荐
Python2.5/2.6实用教程 入门基础篇
Nov 29 Python
python网络爬虫采集联想词示例
Feb 11 Python
python实现dict版图遍历示例
Feb 19 Python
python常见数制转换实例分析
May 09 Python
Python基于Tkinter的HelloWorld入门实例
Jun 17 Python
Python实现SVN的目录周期性备份实例
Jul 17 Python
星球大战与Python之间的那些事
Jan 07 Python
Python字典,函数,全局变量代码解析
Dec 18 Python
python3 拼接字符串的7种方法
Sep 12 Python
Python爬虫实战之12306抢票开源
Jan 24 Python
python 使用装饰器并记录log的示例代码
Jul 12 Python
wxPython+Matplotlib绘制折线图表
Nov 19 Python
python安装mysql-python简明笔记(ubuntu环境)
Jun 25 #Python
Python的装饰器用法学习笔记
Jun 24 #Python
Python的网络编程库Gevent的安装及使用技巧
Jun 24 #Python
深入解析Python编程中super关键字的用法
Jun 24 #Python
深入了解Python数据类型之列表
Jun 24 #Python
Python实现信用卡系统(支持购物、转账、存取钱)
Jun 24 #Python
Python提取Linux内核源代码的目录结构实现方法
Jun 24 #Python
You might like
「OVERLORD」动画重要删减!雅儿贝德的背叛?至尊猎杀队结成
2020/04/09 日漫
php中is_null,empty,isset,unset 的区别详细介绍
2013/04/28 PHP
php使用json_decode后数字对象转换成了科学计数法的解决方法
2017/02/20 PHP
php实现不通过扩展名准确判断文件类型的方法【finfo_file方法与二进制流】
2017/04/18 PHP
PHP ADODB生成下拉列表框功能示例
2018/05/29 PHP
Thinkphp5框架使用validate实现验证功能的方法
2019/08/27 PHP
解决Laravel5.x的php artisan migrate数据库迁移创建操作报错SQLSTATE[42000]
2020/04/06 PHP
JavaScript实现禁止后退的方法
2006/12/27 Javascript
javascript中的prototype属性使用说明(函数功能扩展)
2010/08/16 Javascript
cookie 最近浏览记录(中文escape转码)具体实现
2013/06/08 Javascript
jQuery遍历Form示例代码
2013/09/03 Javascript
javascript实现锁定网页、密码解锁效果(类似系统屏幕保护效果)
2014/08/15 Javascript
js实现遍历含有input的table实例
2015/12/07 Javascript
JS正则截取两个字符串之间及字符串前后内容的方法
2017/01/06 Javascript
JS运动特效之完美运动框架实例分析
2018/01/24 Javascript
Vue 菜单栏点击切换单个class(高亮)的方法
2018/08/22 Javascript
AngularJS自定义表单验证功能实例详解
2018/08/24 Javascript
Webpack之tree-starking 解析
2018/09/11 Javascript
layui当点击文本框时弹出选择框,显示选择内容的例子
2019/09/02 Javascript
p5.js实现简单货车运动动画
2019/10/23 Javascript
15分钟学会vue项目改造成SSR(小白教程)
2019/12/17 Javascript
[03:40]DOTA2亚洲邀请赛小组赛第二日 赛事回顾
2015/01/31 DOTA
解决python写的windows服务不能启动的问题
2014/04/15 Python
python实现无证书加密解密实例
2014/10/27 Python
一个基于flask的web应用诞生 记录用户账户登录状态(6)
2017/04/11 Python
Tensorflow 实现修改张量特定元素的值方法
2018/07/30 Python
python3.6.3安装图文教程 TensorFlow安装配置方法
2020/06/24 Python
选择Python写网络爬虫的优势和理由
2019/07/07 Python
浅析python redis的连接及相关操作
2019/11/07 Python
三个python爬虫项目实例代码
2019/12/28 Python
pytorch 中forward 的用法与解释说明
2021/02/26 Python
美国彩妆品牌:Coastal Scents
2017/04/01 全球购物
高级销售员求职信
2013/10/25 职场文书
租赁协议书范本
2014/04/22 职场文书
小学生成绩单评语
2014/12/31 职场文书
Python利器openpyxl之操作excel表格
2021/04/17 Python