python使用协程实现并发操作的方法详解


Posted in Python onDecember 27, 2019

本文实例讲述了python使用协程实现并发操作的方法。分享给大家供大家参考,具体如下:

协程

协程是一种用户态的轻量级线程,又称微线程。

协程拥有自己的寄存器上下文和栈,调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

优点:

  1. 无需线程上下文切换的开销
  2. 无需原子操作锁定及同步的开销
  3. 方便切换控制流,简化编程模型
  4. 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。

原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。

缺点:

  1. 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
  2. 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

使用Gevent

gevent是python的一个并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.

  • 简单示例

gevent的sleep可以交出控制权,当我们在受限于网络或IO的函数中使用gevent,这些函数会被协作式的调度, gevent的真正能力会得到发挥。Gevent处理了所有的细节, 来保证你的网络库会在可能的时候,隐式交出greenlet上下文的执行权。

import gevent
def foo():
  print('running in foo')
  gevent.sleep(0)
  print('com back from bar in to foo')
def bar():
  print('running in bar')
  gevent.sleep(0)
  print('com back from foo in to bar')
# 创建线程并行执行程序
gevent.joinall([
  gevent.spawn(foo),
  gevent.spawn(bar),
])

执行结果

running in foo
running in bar
com back from bar in to foo
com back from foo in to bar

  • 同步异步
import random
import gevent
def task(pid):
  gevent.sleep(random.randint(0, 2) * 0.001)
  print('Task %s done' % pid)
def synchronous():
  for i in range(1, 10):
    task(i)
def asynchronous():
  threads = [gevent.spawn(task, i) for i in range(10)]
  gevent.joinall(threads)
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()

执行输出

Synchronous:
Task 1 done
Task 2 done
Task 3 done
Task 4 done
Task 5 done
Task 6 done
Task 7 done
Task 8 done
Task 9 done
Asynchronous:
Task 1 done
Task 4 done
Task 5 done
Task 9 done
Task 6 done
Task 0 done
Task 2 done
Task 3 done
Task 7 done
Task 8 done

  • 以子类的方法使用协程

可以子类化Greenlet类,重载它的_run方法,类似多线程和多进程模块

import gevent
from gevent import Greenlet
class Test(Greenlet):
  def __init__(self, message, n):
    Greenlet.__init__(self)
    self.message = message
    self.n = n
  def _run(self):
    print(self.message, 'start')
    gevent.sleep(self.n)
    print(self.message, 'end')
tests = [
  Test("hello", 3),
  Test("world", 2),
]
for test in tests:
  test.start() # 启动
for test in tests:
  test.join() # 等待执行结束
  • 使用monkey patch修改系统标准库(自动切换协程)

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

import gevent
import requests
from gevent import monkey
monkey.patch_socket()
def task(url):
  r = requests.get(url)
  print('%s bytes received from %s' % (len(r.text), url))
gevent.joinall([
  gevent.spawn(task, 'https://www.baidu.com/'),
  gevent.spawn(task, 'https://www.qq.com/'),
  gevent.spawn(task, 'https://www.jd.com/'),
])

执行输出

2443 bytes received from https://www.baidu.com/
108315 bytes received from https://www.jd.com/
231873 bytes received from https://www.qq.com/

可以看出3个网络操作是并发执行的,而且结束顺序不同

参考链接:http://hhkbp2.github.io/gevent-tutorial/

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python 文件管理实例详解
Nov 10 Python
python微信跳一跳系列之棋子定位像素遍历
Feb 26 Python
解决python爬虫中有中文的url问题
May 11 Python
用Python将mysql数据导出成json的方法
Aug 21 Python
Python面向对象基础入门之编码细节与注意事项
Dec 11 Python
解决Pyinstaller 打包exe文件 取消dos窗口(黑框框)的问题
Jun 21 Python
python实现中文文本分句的例子
Jul 15 Python
基于Python2、Python3中reload()的不同用法介绍
Aug 12 Python
使用PyCharm进行远程开发和调试的实现
Nov 04 Python
opencv python 图片读取与显示图片窗口未响应问题的解决
Apr 24 Python
Keras 中Leaky ReLU等高级激活函数的用法
Jul 05 Python
Pycharm如何自动生成头文件注释
Nov 14 Python
Python调用.NET库的方法步骤
Dec 27 #Python
IronPython连接MySQL的方法步骤
Dec 27 #Python
python基于三阶贝塞尔曲线的数据平滑算法
Dec 27 #Python
python3获取文件中url内容并下载代码实例
Dec 27 #Python
用python拟合等角螺线的实现示例
Dec 27 #Python
PyTorch 对应点相乘、矩阵相乘实例
Dec 27 #Python
pytorch中tensor.expand()和tensor.expand_as()函数详解
Dec 27 #Python
You might like
php 变量定义方法
2009/06/14 PHP
php面向对象中的魔术方法中文说明
2014/03/04 PHP
php生成酷炫的四个字符验证码
2016/04/22 PHP
Laravel框架中自定义模板指令总结
2017/12/17 PHP
IE6不能修改NAME问题的解决方法
2010/09/03 Javascript
基于JQuery的日期联动实现代码
2011/02/24 Javascript
jQuery 源码分析笔记(4) Ready函数
2011/06/02 Javascript
基于JQuery制作可编辑的表格特效
2014/12/23 Javascript
JavaScript实现文本框中默认显示背景图片在获得焦点后消失的方法
2015/07/01 Javascript
用AngularJS的指令实现tabs切换效果
2016/08/31 Javascript
AngularJS 中的Promise --- $q服务详解
2016/09/14 Javascript
实时监控input框,实现输入框与下拉框联动的实例
2018/01/23 Javascript
JS和Canvas实现图片的预览压缩和上传功能
2018/03/30 Javascript
Vue将页面导出为图片或者PDF
2020/08/17 Javascript
layui表格数据复选框回显设置方法
2019/09/13 Javascript
Vue SPA 初次进入加载动画实现代码
2019/11/14 Javascript
JavaScript实现文件下载并重命名代码实例
2019/12/12 Javascript
js实现轮播图效果 z-index实现轮播图
2020/01/17 Javascript
解决vue中使用less/sass及使用中遇到无效的问题
2020/10/24 Javascript
详解vue-router的导航钩子(导航守卫)
2020/11/02 Javascript
解决vue watch数据的方法被调用了两次的问题
2020/11/07 Javascript
python计算对角线有理函数插值的方法
2015/05/07 Python
python魔法方法-自定义序列详解
2016/07/21 Python
python使用代理ip访问网站的实例
2018/05/07 Python
Django之提交表单与前后端交互的方法
2019/07/19 Python
Python对接六大主流数据库(只需三步)
2019/07/31 Python
对Python 中矩阵或者数组相减的法则详解
2019/08/26 Python
Python序列类型的打包和解包实例
2019/12/21 Python
Mysql数据库反向生成Django里面的models指令方式
2020/05/18 Python
CSS3 倾斜的网页图片库实例教程
2009/11/14 HTML / CSS
CSS3移动端vw+rem不依赖JS实现响应式布局的方法
2019/01/23 HTML / CSS
保护环境标语
2014/06/09 职场文书
临床医学生职业规划书范文
2014/10/25 职场文书
2014年质量管理工作总结
2014/12/01 职场文书
婚宴父亲致辞
2015/07/27 职场文书
django注册用邮箱发送验证码的实现
2021/04/18 Python