Python协程操作之gevent(yield阻塞,greenlet),协程实现多任务(有规律的交替协作执行)用法详解


Posted in Python onOctober 14, 2019

本文实例讲述了Python 协程操作之gevent(yield阻塞,greenlet),协程实现多任务(有规律的交替协作执行)用法。分享给大家供大家参考,具体如下:

实现多任务:进程消耗的资源最大,线程消耗的资源次之,协程消耗的资源最少(单线程)。

gevent实现协程,gevent是通过阻塞代码(例如网络延迟等)来自动切换要执行的任务,所以在进行IO密集型程序时(例如爬虫),使用gevent可以提高效率(有效利用网络延迟的时间去执行其他任务)。

GIL(全局解释器锁)是C语言版本的Python解释器中专有的,GIL的存在让多线程的效率变低(哪个线程抢到锁,就执行哪个线程)。在IO密集型程序中,多线程依然比单线程效率高(GIL通过IO阻塞自动切换多线程)。

解决GIL(全局解释器锁)的问题的三种方法:1、不要用C语言版本的Python解释器。2、让子线程运行其他语言代码(例如:主线程运行Python代码,子线程运行C语言代码(C语言的动态库))。3、多进程代替多线程(多进程可以利用多核CPU)。

demo.py(协程底层原理,yield):

import time
# 带yield的函数并不是函数,而是一个生成器模板,返回一个生成器(可用于遍历迭代)
def task_1():
  while True:
    time.sleep(0.1)
    yield # 阻塞,等待next迭代解阻塞
def task_2():
  while True:
    time.sleep(0.1)
    yield
def main():
  t1 = task_1() # 返回的t1是一个生成器。 此时并未执行task_1中的代码
  t2 = task_2()
  # 先让t1运行一会,当t1中遇到yield的时候,再返回到24行,然后
  # 执行t2,当它遇到yield的时候,再次切换到t1中
  # 这样t1/t2/t1/t2的交替运行,最终实现了多任务....协程
  while True:
    next(t1) # 执行task_1中的代码,遇到yield阻塞task_1。 等待下一次next激活。
    next(t2) # 实现task_1与task_2交替执行,实现多任务...协程
if __name__ == "__main__":
  main()

demo.py(greenlet实现协程,封装了yield):

from greenlet import greenlet # 需要安装greenlet模块 sudo pip3 install greenlet (python2.x使用pip) 
import time
def test1():
  while True:
    print("---A--")
    gr2.switch()  # 切换到gr2中的任务。
    time.sleep(0.5)
def test2():
  while True:
    print("---B--")
    gr1.switch()  # 切换到gr1中的任务。
    time.sleep(0.5)
gr1 = greenlet(test1) # greenlet 底层封装了yield。
gr2 = greenlet(test2)
#切换到gr1中运行
gr1.switch()

demo.py(gevent实现协程,封装了greenlet,遇到阻塞代码自动切换协程任务):

import gevent # 需要安装gevent模块 sudo pip3 install gevent (python2.x使用pip) 
import time
def f1(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)  # 为了提高协程效率,遇到阻塞类代码,会自动切换协程任务。
    # time.sleep(0.5)  # 阻塞类代码必须使用gevent自己包装的代码,原生阻塞类代码不会切换协程任务。 
              # 可以使用monkey.patch_all()将所有原生阻塞类代码替换成gevent包装的阻塞类代码。 
def f2(n):
  for i in range(n):
    print(gevent.getcurrent(), i) # <Greenlet "Greenlet-0" at 0x7f4a09b34648: f1(5)> 0
    gevent.sleep(0.5)
    # time.sleep(0.5)
def f3(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    gevent.sleep(0.5)
    # time.sleep(0.5)
g1 = gevent.spawn(f1, 5) # gevent其实是对greenlet的封装。
g2 = gevent.spawn(f2, 5) # 第一个参数f2表示协程执行的具体任务(函数),第二个参数5表示要传给f2的参数
g3 = gevent.spawn(f3, 5)
g1.join()  # 遇到阻塞类代码,自动切换协程任务。
g2.join()
g3.join()

运行结果:

<Greenlet at 0x1985030: f1(5)> 0
<Greenlet at 0x1b431c8: f2(5)> 0
<Greenlet at 0x1b43140: f3(5)> 0
<Greenlet at 0x1985030: f1(5)> 1
<Greenlet at 0x1b431c8: f2(5)> 1
<Greenlet at 0x1b43140: f3(5)> 1
<Greenlet at 0x1985030: f1(5)> 2
<Greenlet at 0x1b431c8: f2(5)> 2
<Greenlet at 0x1b43140: f3(5)> 2
<Greenlet at 0x1985030: f1(5)> 3
<Greenlet at 0x1b431c8: f2(5)> 3
<Greenlet at 0x1b43140: f3(5)> 3
<Greenlet at 0x1985030: f1(5)> 4
<Greenlet at 0x1b431c8: f2(5)> 4
<Greenlet at 0x1b43140: f3(5)> 4

demo.py(gevent打补丁,monkey自动替换原生阻塞类代码。重要,常用):

import gevent # 需要安装gevent模块 sudo pip3 install gevent (python2.x使用pip)
import time
from gevent import monkey
# gevent打补丁
monkey.patch_all() # 将所有原生阻塞类代码自动替换成gevent包装的阻塞类代码。 
def f1(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5) # 会自动替换成 gevent.sleep(0.5)
def f2(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)
def f3(n):
  for i in range(n):
    print(gevent.getcurrent(), i)
    time.sleep(0.5)
# g1 = gevent.spawn(f1, 5)
# g2 = gevent.spawn(f2, 5)
# g3 = gevent.spawn(f3, 5)
# g1.join()
# g2.join()
# g3.join()
# 一种简便写法
gevent.joinall([
    gevent.spawn(f1, 5),
    gevent.spawn(f2, 5),
    gevent.spawn(f3, 5)
])

运行结果:

<Greenlet at 0x22e0938: f1(5)> 0
<Greenlet at 0x22e09c0: f2(5)> 0
<Greenlet at 0x22e0a48: f3(5)> 0
<Greenlet at 0x22e0938: f1(5)> 1
<Greenlet at 0x22e09c0: f2(5)> 1
<Greenlet at 0x22e0a48: f3(5)> 1
<Greenlet at 0x22e0938: f1(5)> 2
<Greenlet at 0x22e09c0: f2(5)> 2
<Greenlet at 0x22e0a48: f3(5)> 2
<Greenlet at 0x22e0938: f1(5)> 3
<Greenlet at 0x22e09c0: f2(5)> 3
<Greenlet at 0x22e0a48: f3(5)> 3
<Greenlet at 0x22e0938: f1(5)> 4
<Greenlet at 0x22e09c0: f2(5)> 4
<Greenlet at 0x22e0a48: f3(5)> 4

demo.py(gevent底层原理):

import socket
import time
tcp_server_tcp = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
tcp_server_tcp.bind(("", 7899))
tcp_server_tcp.listen(128)
tcp_server_tcp.setblocking(False) # 设置套接字为非堵塞的方式。 (接收数据时如果没有接到数据(阻塞)那么就抛异常,否则正常接收数据。)
client_socket_list = list() # 用于保存与客户端连接的套接字。
while True:
  # time.sleep(0.5)
  try:
    new_socket, new_addr = tcp_server_tcp.accept() # 用抛异常的方式代替阻塞。
  except Exception as ret:
    print("---没有新的客户端到来---")
  else:
    print("---只要没有产生异常,那么也就意味着 来了一个新的客户端----")
    new_socket.setblocking(False) # 设置套接字为非堵塞的方式。 (如果需要阻塞就直接抛异常代替阻塞)
    client_socket_list.append(new_socket)
  for client_socket in client_socket_list:
    try:
      recv_data = client_socket.recv(1024)  # 用抛异常的方式代替阻塞。
    except Exception as ret:
      print("----这个客户端还没有发送过来数据----")
    else:
      if recv_data:
        # 对方发送过来数据
        print("----客户端发送过来了数据-----")
      else:
        # 对方调用close 导致了 recv返回
        client_socket.close()
        client_socket_list.remove(client_socket)
        print("---客户端已经关闭----")

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python时间整形转标准格式的示例分享
Feb 14 Python
Python重新引入被覆盖的自带function
Jul 16 Python
寻找网站后台地址的python脚本
Sep 01 Python
使用Python的Flask框架实现视频的流媒体传输
Mar 31 Python
利用Python实现命令行版的火车票查看器
Aug 05 Python
python用户管理系统的实例讲解
Dec 23 Python
对python中执行DOS命令的3种方法总结
May 12 Python
Python小工具之消耗系统指定大小内存的方法
Dec 03 Python
互斥锁解决 Python 中多线程共享全局变量的问题(推荐)
Sep 28 Python
python中绕过反爬虫的方法总结
Nov 25 Python
python爬虫实现爬取同一个网站的多页数据的实例讲解
Jan 18 Python
python绘制简单直方图(质量分布图)的方法
Apr 21 Python
Python 闭包,函数分隔作用域,nonlocal声明非局部变量操作示例
Oct 14 #Python
win10子系统python开发环境准备及kenlm和nltk的使用教程
Oct 14 #Python
python web框架Flask实现图形验证码及验证码的动态刷新实例
Oct 14 #Python
执行Django数据迁移时报 1091错误及解决方法
Oct 14 #Python
解析Python3中的Import
Oct 13 #Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 #Python
Python 转换RGB颜色值的示例代码
Oct 13 #Python
You might like
S900/ ETON E1-XM 收音机
2021/03/02 无线电
用PHP和ACCESS写聊天室(七)
2006/10/09 PHP
php生成WAP页面
2006/10/09 PHP
基于empty函数的判断详解
2013/06/17 PHP
PHP6 中可能会出现的新特性预览
2014/04/04 PHP
laravel 输出最后执行sql 附:whereIn的使用方法
2019/10/10 PHP
javascript完美拖拽的实现方法
2013/09/29 Javascript
用js的for循环获取radio选中的值
2013/10/21 Javascript
如何判断微信内置浏览器(通过User Agent实现)
2014/09/01 Javascript
JavaScript的removeChild()函数用法详解
2015/12/27 Javascript
JavaScript入门系列之知识点总结
2016/03/24 Javascript
Bootstrap所支持的表单控件实例详解
2016/05/16 Javascript
AngularJS ng-bind-html 指令详解及实例代码
2016/07/30 Javascript
基于JS实现回到页面顶部的五种写法(从实现到增强)
2016/09/03 Javascript
vue2.x 父组件监听子组件事件并传回信息的方法
2017/07/17 Javascript
Vue2.0 实现单选互斥的方法
2018/04/13 Javascript
微信小程序上传图片实例
2018/05/28 Javascript
JS添加或删除HTML dom元素的方法实例分析
2019/03/05 Javascript
JavaScript实现简单动态表格
2020/12/02 Javascript
[02:29]完美世界高校联赛上海赛区回顾
2015/12/15 DOTA
[01:02:48]2018DOTA2亚洲邀请赛小组赛 A组加赛 Newbee vs Liquid
2018/04/03 DOTA
python的urllib模块显示下载进度示例
2014/01/17 Python
python 多进程通信模块的简单实现
2014/02/20 Python
python爬取网页内容转换为PDF文件
2020/07/28 Python
Python进阶之@property动态属性的实现
2019/04/01 Python
使用python实现简单五子棋游戏
2019/06/18 Python
正隆泰信息技术有限公司上机题
2012/06/14 面试题
奖学金自我鉴定范文
2013/10/03 职场文书
企业管理部经理岗位职责
2013/12/24 职场文书
优秀团干部个人事迹
2014/05/29 职场文书
尊老爱幼演讲稿
2014/09/04 职场文书
社区元宵节活动总结
2015/02/06 职场文书
学者《孟子》名人名言
2019/08/09 职场文书
SQL Server2019数据库备份与还原脚本,数据库可批量备份
2021/11/20 SQL Server
Golang Elasticsearches 批量修改查询及发送MQ
2022/04/19 Golang
提高系统的吞吐量解决数据库重复写入问题
2022/04/23 MySQL