python编程使用协程并发的优缺点


Posted in Python onSeptember 20, 2018

协程

协程是一种用户态的轻量级线程,又称微线程。

协程拥有自己的寄存器上下文和栈,调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

优点:

1.无需线程上下文切换的开销
2.无需原子操作锁定及同步的开销
3.方便切换控制流,简化编程模型
4.高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。

原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。

缺点:

1.无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
2.进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

使用Gevent

gevent是python的一个并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.

•简单示例

gevent的sleep可以交出控制权,当我们在受限于网络或IO的函数中使用gevent,这些函数会被协作式的调度, gevent的真正能力会得到发挥。Gevent处理了所有的细节, 来保证你的网络库会在可能的时候,隐式交出greenlet上下文的执行权。

import gevent
def foo():
  print('running in foo')
  gevent.sleep(0)
  print('com back from bar in to foo')
def bar():
  print('running in bar')
  gevent.sleep(0)
  print('com back from foo in to bar')
# 创建线程并行执行程序
gevent.joinall([
  gevent.spawn(foo),
  gevent.spawn(bar),
])

执行结果

running in foo
running in bar
com back from bar in to foo
com back from foo in to bar

•同步异步

import random
import gevent
def task(pid):
  gevent.sleep(random.randint(0, 2) * 0.001)
  print('Task %s done' % pid)
def synchronous():
  for i in range(1, 10):
    task(i)
def asynchronous():
  threads = [gevent.spawn(task, i) for i in range(10)]
  gevent.joinall(threads)
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()

执行输出

Synchronous:

Task 1 done

Task 2 done

Task 3 done

Task 4 done

Task 5 done

Task 6 done

Task 7 done

Task 8 done

Task 9 done

Asynchronous:

Task 1 done

Task 4 done

Task 5 done

Task 9 done

Task 6 done

Task 0 done

Task 2 done

Task 3 done

Task 7 done

Task 8 done

•以子类的方法使用协程

可以子类化Greenlet类,重载它的_run方法,类似多线线程和多进程模块

import gevent
from gevent import Greenlet
class Test(Greenlet):
  def __init__(self, message, n):
    Greenlet.__init__(self)
    self.message = message
    self.n = n
  def _run(self):
    print(self.message, 'start')
    gevent.sleep(self.n)
    print(self.message, 'end')
tests = [
  Test("hello", 3),
  Test("world", 2),
]
for test in tests:
  test.start() # 启动
for test in tests:
  test.join() # 等待执行结束

•使用monkey patch修改系统标准库(自动切换协程)

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

import gevent
import requests
from gevent import monkey
monkey.patch_socket()
def task(url):
  r = requests.get(url)
  print('%s bytes received from %s' % (len(r.text), url))
gevent.joinall([
  gevent.spawn(task, 'https://www.baidu.com/'),
  gevent.spawn(task, 'https://www.qq.com/'),
  gevent.spawn(task, 'https://www.jd.com/'),
])

执行输出

2443 bytes received from https://www.baidu.com/

108315 bytes received from https://www.jd.com/

231873 bytes received from https://www.qq.com/

可以看出3个网络操作是并发执行的,而且结束顺序不同

参考链接:http://hhkbp2.github.io/gevent-tutorial/

总结

以上所述是小编给大家介绍的python编程使用协程并发的优缺点,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python open读写文件实现脚本
Sep 06 Python
python格式化字符串实例总结
Sep 28 Python
Python比较文件夹比另一同名文件夹多出的文件并复制出来的方法
Mar 05 Python
python复制与引用用法分析
Apr 08 Python
python自定义类并使用的方法
May 07 Python
Python编程django实现同一个ip十分钟内只能注册一次
Nov 03 Python
Java及python正则表达式详解
Dec 27 Python
浅谈Python中的zip()与*zip()函数详解
Feb 24 Python
Python图像处理模块ndimage用法实例分析
Sep 05 Python
使用pyecharts1.7进行简单的可视化大全
May 17 Python
PyTorch之nn.ReLU与F.ReLU的区别介绍
Jun 27 Python
Python中的xlrd模块使用整理
Jun 15 Python
详解Numpy中的广播原则/机制
Sep 20 #Python
Python 读写文件的操作代码
Sep 20 #Python
python使用多进程的实例详解
Sep 19 #Python
Anaconda2 5.2.0安装使用图文教程
Sep 19 #Python
win10系统下Anaconda3安装配置方法图文教程
Sep 19 #Python
Window 64位下python3.6.2环境搭建图文教程
Sep 19 #Python
win10下python3.5.2和tensorflow安装环境搭建教程
Sep 19 #Python
You might like
php接口技术实例详解
2016/12/07 PHP
PHP实现根据数组的值进行分组的方法
2017/04/20 PHP
彻底搞懂PHP 变量结构体
2017/10/11 PHP
通过JAVASCRIPT读取ASP设定的COOKIE
2007/02/15 Javascript
JS是否可以跨文件同时控制多个iframe页面的应用技巧
2007/12/16 Javascript
js实现连续英文字符自动换行兼容ie6 ie7和firefox
2013/09/06 Javascript
JavaScript中使用stopPropagation函数停止事件传播例子
2014/08/27 Javascript
js实现同一页面可多次调用的图片幻灯切换效果
2015/02/28 Javascript
js实现超酷的照片墙展示效果图附源码下载
2015/10/08 Javascript
浅谈JavaScript 函数参数传递到底是值传递还是引用传递
2016/08/23 Javascript
AngularJS中watch监听用法分析
2016/11/04 Javascript
js实现页面刷新滚动条位置不变
2016/11/27 Javascript
页面缩放兼容性处理方法(zoom,Firefox火狐浏览器)
2017/08/29 Javascript
全站最详细的Vuex教程
2018/04/13 Javascript
js实现转动骰子模型
2019/10/24 Javascript
react quill中图片上传由默认转成base64改成上传到服务器的方法
2019/10/30 Javascript
vue 使用外部JS与调用原生API操作示例
2019/12/02 Javascript
Python编程之属性和方法实例详解
2015/05/19 Python
Python的爬虫框架scrapy用21行代码写一个爬虫
2017/04/24 Python
linux环境下的python安装过程图解(含setuptools)
2017/11/22 Python
Python闭包之返回函数的函数用法示例
2018/01/27 Python
PyQt5每天必学之进度条效果
2018/04/19 Python
Django管理员账号和密码忘记的完美解决方法
2018/12/06 Python
Pytorch 实现权重初始化
2019/12/31 Python
Python 删除List元素的三种方法remove、pop、del
2020/11/16 Python
Dockers鞋官网:Dockers Shoes
2018/11/13 全球购物
英文版网络工程师求职信
2013/10/28 职场文书
初中女生自我鉴定
2013/12/19 职场文书
大学生饮食连锁店创业计划书
2014/01/17 职场文书
记帐员岗位责任制
2014/02/08 职场文书
爱心活动计划书
2014/04/26 职场文书
银行开户授权委托书格式
2014/10/10 职场文书
导游词之五台山
2019/10/11 职场文书
酒店工程部的岗位职责汇总大全
2019/10/23 职场文书
使用pandas或numpy处理数据中的空值(np.isnan()/pd.isnull())
2021/05/14 Python
Vue自定义铃声提示音组件的实现
2022/01/22 Vue.js