python使用协程实现并发操作的方法详解


Posted in Python onDecember 27, 2019

本文实例讲述了python使用协程实现并发操作的方法。分享给大家供大家参考,具体如下:

协程

协程是一种用户态的轻量级线程,又称微线程。

协程拥有自己的寄存器上下文和栈,调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

优点:

  1. 无需线程上下文切换的开销
  2. 无需原子操作锁定及同步的开销
  3. 方便切换控制流,简化编程模型
  4. 高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。

原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。

缺点:

  1. 无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
  2. 进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

使用Gevent

gevent是python的一个并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.

  • 简单示例

gevent的sleep可以交出控制权,当我们在受限于网络或IO的函数中使用gevent,这些函数会被协作式的调度, gevent的真正能力会得到发挥。Gevent处理了所有的细节, 来保证你的网络库会在可能的时候,隐式交出greenlet上下文的执行权。

import gevent
def foo():
  print('running in foo')
  gevent.sleep(0)
  print('com back from bar in to foo')
def bar():
  print('running in bar')
  gevent.sleep(0)
  print('com back from foo in to bar')
# 创建线程并行执行程序
gevent.joinall([
  gevent.spawn(foo),
  gevent.spawn(bar),
])

执行结果

running in foo
running in bar
com back from bar in to foo
com back from foo in to bar

  • 同步异步
import random
import gevent
def task(pid):
  gevent.sleep(random.randint(0, 2) * 0.001)
  print('Task %s done' % pid)
def synchronous():
  for i in range(1, 10):
    task(i)
def asynchronous():
  threads = [gevent.spawn(task, i) for i in range(10)]
  gevent.joinall(threads)
print('Synchronous:')
synchronous()
print('Asynchronous:')
asynchronous()

执行输出

Synchronous:
Task 1 done
Task 2 done
Task 3 done
Task 4 done
Task 5 done
Task 6 done
Task 7 done
Task 8 done
Task 9 done
Asynchronous:
Task 1 done
Task 4 done
Task 5 done
Task 9 done
Task 6 done
Task 0 done
Task 2 done
Task 3 done
Task 7 done
Task 8 done

  • 以子类的方法使用协程

可以子类化Greenlet类,重载它的_run方法,类似多线程和多进程模块

import gevent
from gevent import Greenlet
class Test(Greenlet):
  def __init__(self, message, n):
    Greenlet.__init__(self)
    self.message = message
    self.n = n
  def _run(self):
    print(self.message, 'start')
    gevent.sleep(self.n)
    print(self.message, 'end')
tests = [
  Test("hello", 3),
  Test("world", 2),
]
for test in tests:
  test.start() # 启动
for test in tests:
  test.join() # 等待执行结束
  • 使用monkey patch修改系统标准库(自动切换协程)

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

import gevent
import requests
from gevent import monkey
monkey.patch_socket()
def task(url):
  r = requests.get(url)
  print('%s bytes received from %s' % (len(r.text), url))
gevent.joinall([
  gevent.spawn(task, 'https://www.baidu.com/'),
  gevent.spawn(task, 'https://www.qq.com/'),
  gevent.spawn(task, 'https://www.jd.com/'),
])

执行输出

2443 bytes received from https://www.baidu.com/
108315 bytes received from https://www.jd.com/
231873 bytes received from https://www.qq.com/

可以看出3个网络操作是并发执行的,而且结束顺序不同

参考链接:http://hhkbp2.github.io/gevent-tutorial/

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python将多个文本文件合并为一个文本的代码(便于搜索)
Mar 13 Python
Python中函数的参数定义和可变参数用法实例分析
Jun 04 Python
python实现中文转换url编码的方法
Jun 14 Python
Python应用库大全总结
May 30 Python
使用python验证代理ip是否可用的实现方法
Jul 25 Python
[原创]Python入门教程1. 基本运算【四则运算、变量、math模块等】
Oct 28 Python
浅谈python下含中文字符串正则表达式的编码问题
Dec 07 Python
Python 静态方法和类方法实例分析
Nov 21 Python
python等差数列求和公式前 100 项的和实例
Feb 25 Python
Python flask路由间传递变量实例详解
Jun 03 Python
什么是python的必选参数
Jun 21 Python
python计算auc的方法
Sep 09 Python
Python调用.NET库的方法步骤
Dec 27 #Python
IronPython连接MySQL的方法步骤
Dec 27 #Python
python基于三阶贝塞尔曲线的数据平滑算法
Dec 27 #Python
python3获取文件中url内容并下载代码实例
Dec 27 #Python
用python拟合等角螺线的实现示例
Dec 27 #Python
PyTorch 对应点相乘、矩阵相乘实例
Dec 27 #Python
pytorch中tensor.expand()和tensor.expand_as()函数详解
Dec 27 #Python
You might like
php数组中包含中文的排序方法
2014/06/03 PHP
php+memcache实现的网站在线人数统计代码
2014/07/04 PHP
PHP实现图片上传并压缩
2015/12/22 PHP
[原创]php实现子字符串位置相互对调互换的方法
2016/06/02 PHP
PHP简单计算两个时间差的方法示例
2017/06/20 PHP
IE8 浏览器Cookie的处理
2009/01/31 Javascript
JSDoc 介绍使用规范JsDoc的使用介绍
2011/02/12 Javascript
JQuery的read函数与js的onload不同方式实现
2013/03/18 Javascript
解析jquery中的ajax缓存问题
2013/12/19 Javascript
js使用正则实现ReplaceAll全部替换的方法
2014/08/22 Javascript
javascript实现获取字符串hash值
2015/05/10 Javascript
javascript实现可拖动变色并关闭层窗口实例
2015/05/15 Javascript
JS数组合并push与concat区别分析
2015/12/17 Javascript
js实现添加删除表格(两种方法)
2017/04/27 Javascript
微信小程序点击控件修改样式实例详解
2017/07/07 Javascript
基于nodejs+express4.X实现文件下载的实例代码
2017/07/13 NodeJs
浅谈原型对象的常用开发模式
2017/07/22 Javascript
原生JS 购物车及购物页面的cookie使用方法
2017/08/21 Javascript
CentOS环境中MySQL修改root密码方法
2018/01/07 Javascript
Angularjs实现多图片上传预览功能
2018/07/18 Javascript
微信小程序按钮去除边框线分享页面功能
2018/08/27 Javascript
解决vuecli3中img src 的引入问题
2020/08/04 Javascript
用vue设计一个日历表
2020/12/03 Vue.js
python实现简单的socket server实例
2015/04/29 Python
python发送邮件功能实现代码
2016/07/15 Python
对Python3.x版本print函数左右对齐详解
2018/12/22 Python
python 通过手机号识别出对应的微信性别(实例代码)
2019/12/22 Python
Lime Crime官网:美国一家主打梦幻精灵系的彩妆品牌
2019/03/22 全球购物
中国旅游网站:途牛旅游网
2019/09/29 全球购物
美国儿童服装、家具和玩具精品店:Maisonette
2019/11/24 全球购物
Urban Decay官方网站:美国化妆品品牌
2020/06/04 全球购物
年会搞笑主持词
2014/03/27 职场文书
学校党的群众路线教育实践活动总结材料
2014/10/30 职场文书
端午节寄语2015
2015/03/23 职场文书
教你利用Selenium+python自动化来解决pip使用异常
2021/05/20 Python
铁头也玩根德 YachtBoy YB-230......
2022/04/05 无线电