python使用协程实现并发操作的方法详解


Posted in Python onDecember 27, 2019

本文实例讲述了python使用协程实现并发操作的方法。分享给大家供大家参考,具体如下:

协程

协程是一种用户态的轻量级线程,又称微线程。

协程拥有自己的寄存器上下文和栈,调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

优点:

  1. 无需线程上下文切换的开销
  2. 无需原子操作锁定及同步的开销
  3. 方便切换控制流,简化编程模型
  4. 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。

原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。

缺点:

  1. 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
  2. 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

使用Gevent

gevent是python的一个并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.

  • 简单示例

gevent的sleep可以交出控制权,当我们在受限于网络或IO的函数中使用gevent,这些函数会被协作式的调度, gevent的真正能力会得到发挥。Gevent处理了所有的细节, 来保证你的网络库会在可能的时候,隐式交出greenlet上下文的执行权。

import gevent
def foo():
  print('running in foo')
  gevent.sleep(0)
  print('com back from bar in to foo')
def bar():
  print('running in bar')
  gevent.sleep(0)
  print('com back from foo in to bar')
# 创建线程并行执行程序
gevent.joinall([
  gevent.spawn(foo),
  gevent.spawn(bar),
])

执行结果

running in foo
running in bar
com back from bar in to foo
com back from foo in to bar

  • 同步异步
import random
import gevent
def task(pid):
  gevent.sleep(random.randint(0, 2) * 0.001)
  print('Task %s done' % pid)
def synchronous():
  for i in range(1, 10):
    task(i)
def asynchronous():
  threads = [gevent.spawn(task, i) for i in range(10)]
  gevent.joinall(threads)
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()

执行输出

Synchronous:
Task 1 done
Task 2 done
Task 3 done
Task 4 done
Task 5 done
Task 6 done
Task 7 done
Task 8 done
Task 9 done
Asynchronous:
Task 1 done
Task 4 done
Task 5 done
Task 9 done
Task 6 done
Task 0 done
Task 2 done
Task 3 done
Task 7 done
Task 8 done

  • 以子类的方法使用协程

可以子类化Greenlet类,重载它的_run方法,类似多线程和多进程模块

import gevent
from gevent import Greenlet
class Test(Greenlet):
  def __init__(self, message, n):
    Greenlet.__init__(self)
    self.message = message
    self.n = n
  def _run(self):
    print(self.message, 'start')
    gevent.sleep(self.n)
    print(self.message, 'end')
tests = [
  Test("hello", 3),
  Test("world", 2),
]
for test in tests:
  test.start() # 启动
for test in tests:
  test.join() # 等待执行结束
  • 使用monkey patch修改系统标准库(自动切换协程)

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

import gevent
import requests
from gevent import monkey
monkey.patch_socket()
def task(url):
  r = requests.get(url)
  print('%s bytes received from %s' % (len(r.text), url))
gevent.joinall([
  gevent.spawn(task, 'https://www.baidu.com/'),
  gevent.spawn(task, 'https://www.qq.com/'),
  gevent.spawn(task, 'https://www.jd.com/'),
])

执行输出

2443 bytes received from https://www.baidu.com/
108315 bytes received from https://www.jd.com/
231873 bytes received from https://www.qq.com/

可以看出3个网络操作是并发执行的,而且结束顺序不同

参考链接:http://hhkbp2.github.io/gevent-tutorial/

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python写的Discuz7.2版faq.php注入漏洞工具
Aug 06 Python
Python原始字符串与Unicode字符串操作符用法实例分析
Jul 22 Python
Python图像处理之简单画板实现方法示例
Aug 30 Python
一篇文章搞懂Python的类与对象名称空间
Dec 10 Python
Python一行代码实现快速排序的方法
Apr 30 Python
django的分页器Paginator 从django中导入类
Jul 25 Python
python excel转换csv代码实例
Aug 26 Python
python3应用windows api对后台程序窗口及桌面截图并保存的方法
Aug 27 Python
Python基础之函数基本用法与进阶详解
Jan 02 Python
keras自定义回调函数查看训练的loss和accuracy方式
May 23 Python
Python数据可视化实现漏斗图过程图解
Jul 20 Python
详解Selenium-webdriver绕开反爬虫机制的4种方法
Oct 28 Python
Python调用.NET库的方法步骤
Dec 27 #Python
IronPython连接MySQL的方法步骤
Dec 27 #Python
python基于三阶贝塞尔曲线的数据平滑算法
Dec 27 #Python
python3获取文件中url内容并下载代码实例
Dec 27 #Python
用python拟合等角螺线的实现示例
Dec 27 #Python
PyTorch 对应点相乘、矩阵相乘实例
Dec 27 #Python
pytorch中tensor.expand()和tensor.expand_as()函数详解
Dec 27 #Python
You might like
分页显示Oracle数据库记录的类之二
2006/10/09 PHP
phpmyadmin配置文件现在需要绝密的短密码(blowfish_secret)的2种解决方法
2014/05/07 PHP
Ext JS Grid在IE6 下宽度的问题解决方法
2009/02/15 Javascript
让IE8支持DOM 2(不用框架!)
2009/12/31 Javascript
capacityFixed 基于jquery的类似于新浪微博新消息提示的定位框
2011/05/24 Javascript
让你的博客飘雪花超出屏幕依然看得见
2013/01/04 Javascript
JS取得绝对路径的实现代码
2015/01/16 Javascript
js实现鼠标悬停图片上时滚动文字说明的方法
2015/02/17 Javascript
面向切面编程(AOP)的理解
2015/05/01 Javascript
jQuery实现的fixedMenu下拉菜单效果代码
2015/08/24 Javascript
轻松学习Javascript闭包函数
2015/12/15 Javascript
彻底学会Angular.js中的transclusion
2017/03/12 Javascript
Vue2递归组件实现树形菜单
2017/04/10 Javascript
详解使用create-react-app添加css modules、sasss和antd
2018/07/31 Javascript
微信小程序之swiper滑动面板用法示例
2018/12/04 Javascript
下载糗事百科的内容_python版
2008/12/07 Python
Python中的类学习笔记
2014/09/23 Python
Python 3.x读写csv文件中数字的方法示例
2017/08/29 Python
ubuntu中配置pyqt4环境教程
2017/12/27 Python
python 日志增量抓取实现方法
2018/04/28 Python
Pandas之Dropna滤除缺失数据的实现方法
2019/06/25 Python
Python读取csv文件实例解析
2019/12/30 Python
Python多重继承之菱形继承的实例详解
2020/02/12 Python
Python中Yield的基本用法
2020/10/18 Python
兰蔻英国官网:Lancome英国
2019/04/30 全球购物
Java面试题:说出如下代码的执行结果
2015/10/30 面试题
廉政教育心得体会
2014/01/01 职场文书
会计主管岗位职责
2014/01/03 职场文书
倡议书范文
2014/04/16 职场文书
初中教师业务学习材料
2014/05/12 职场文书
十佳中学生事迹材料
2014/06/02 职场文书
员工安全责任书范本
2014/07/24 职场文书
退休职工欢送会致辞
2015/08/01 职场文书
2020年元旦祝福语录,总有适合你的
2019/12/31 职场文书
JS数组的常用方法整理
2021/03/31 Javascript
Ajax是什么?Ajax高级用法之Axios技术
2021/04/21 Javascript