Python中协程用法代码详解


Posted in Python onFebruary 10, 2018

本文研究的主要是python中协程的相关问题,具体介绍如下。

Num01?>协程的定义

协程,又称微线程,纤程。英文名Coroutine。

首先我们得知道协程是啥?协程其实可以认为是比线程更小的执行单元。 为啥说他是一个执行单元,因为他自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。

Num02?>协程和线程的差异

那么这个过程看起来和线程差不多。其实不然, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。

Num03?>协程带来的问题

协程有一个问题,就是系统并不感知,所以操作系统不会帮你做切换。 那么谁来帮你做切换?让需要执行的协程更多的获得CPU时间才是问题的关键。

举个例子如下:

目前的协程框架一般都是设计成 1:N 模式。所谓 1:N 就是一个线程作为一个容器里面放置多个协程。 那么谁来适时的切换这些协程?答案是有协程自己主动让出CPU,也就是每个协程池里面有一个调度器, 这个调度器是被动调度的。意思就是他不会主动调度。而且当一个协程发现自己执行不下去了(比如异步等待网络的数据回来,但是当前还没有数据到), 这个时候就可以由这个协程通知调度器,这个时候执行到调度器的代码,调度器根据事先设计好的调度算法找到当前最需要CPU的协程。 切换这个协程的CPU上下文把CPU的运行权交个这个协程,直到这个协程出现执行不下去需要等等的情况,或者它调用主动让出CPU的API之类,触发下一次调度。

Num04?>协程的好处

在IO密集型的程序中由于IO操作远远慢于CPU的操作,所以往往需要CPU去等IO操作。 同步IO下系统需要切换线程,让操作系统可以在IO过程中执行其他的东西。 这样虽然代码是符合人类的思维习惯但是由于大量的线程切换带来了大量的性能的浪费,尤其是IO密集型的程序。

所以人们发明了异步IO。就是当数据到达的时候触发我的回调。来减少线程切换带来性能损失。 但是这样的坏处也是很大的,主要的坏处就是操作被 “分片” 了,代码写的不是 “一气呵成” 这种。 而是每次来段数据就要判断 数据够不够处理哇,够处理就处理吧,不够处理就在等等吧。这样代码的可读性很低,其实也不符合人类的习惯。

但是协程可以很好解决这个问题。比如 把一个IO操作 写成一个协程。当触发IO操作的时候就自动让出CPU给其他协程。要知道协程的切换很轻的。 协程通过这种对异步IO的封装 既保留了性能也保证了代码的容易编写和可读性。在高IO密集型的程序下很好。但是高CPU密集型的程序下没啥好处。

Num05?>yield实现一个简单协程案例

import time
def A():
  while True:
    print("----我是A函数---")
    yield
    time.sleep(0.5)
def B(c):
  while True:
    print("----我是B函数---")
    next(c)
    time.sleep(0.5)
if __name__ == '__main__':
  a = A()
  B(a)

# 结果如下:
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ----我是B函数---
# ----我是A函数---
# ......

Num06?>greenlet版本实现协程案例

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
from greenlet import greenlet
import time


def test1():
  while True:
    print("---我是A函数--")
    gr2.switch()
    time.sleep(0.5)


def test2():
  while True:
    print("---我是B函数--")
    gr1.switch()
    time.sleep(0.5)


def main():
  # 切换到gr1中运行
  gr1.switch()


if __name__ == '__main__':
  gr1 = greenlet(test1)
  gr2 = greenlet(test2)
  main()

# 结果如下:
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ---我是A函数--
# ---我是B函数--
# ......

Num07?>gevent实现协程案例

原理:其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
import gevent


def task1(n):
  for i in range(n):
    print('----task1-----')

    gevent.sleep(1)
    # time.sleep(1) # time.sleep没有让gevent感知到等待


def task2(n):
  for i in range(n):
    print('----task2-----')

    gevent.sleep(1)
    # time.sleep(1)


def main():
  g1 = gevent.spawn(task1, 5)
  g2 = gevent.spawn(task2, 5)

  g1.join()
  g2.join()


if __name__ == "__main__":
  main()


# 结果如下:
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----
# ----task1-----
# ----task2-----

gevent并发下载器

实际代码里,我们不会用gevent.sleep()去切换协程,而是在执行到IO操作时,gevent自动切换,代码如下

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke

import urllib.request # py3

import gevent
from gevent import monkey
# 猴子补丁,将标准库的涉及IO操作方法替换成gevent
monkey.patch_all() 

# 协程的任务函数
def my_download(url):
  print('GET %s' % url)

  response = urllib.request.urlopen(url)
  data = response.read()

  print('下载 %d bytes from %s' % (len(data), url))


def main():
  g1 = gevent.spawn(my_download, 'http://www.google.cn')
  g2 = gevent.spawn(my_download, 'http://www.qq.com')
  g3 = gevent.spawn(my_download, 'http://www.baidu.com')

  gevent.joinall([g1, g2, g3]) # 等待指定的协程结束


if __name__ == "__main__":
  main()

# 结果如下:
# GET http://www.google.cn
# GET http://www.qq.com
# GET http://www.baidu.com
# 下载 102221 bytes from http://www.baidu.com
# 下载 52297 bytes from http://www.qq.com
# 下载 3213 bytes from http://www.google.cn

#从上能够看到是先获取baidu的相关信息,然后依次是qq
#google,但是收到数据的先后顺序不一定与发送顺序相同,
#这也就体现出了异步,即不确定什么时候会收到数据,顺序不一定.

Num08?>gevent版?TCP服务器

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Author : xiaoke
import socket
import gevent
from gevent import monkey
#猴子补丁,将标准库的涉及IO操作方法替换成gevent
monkey.patch_all()


# 需要为客户端提供服务
def do_service(connect_socket):
  while True:
    # tcp recv() 只会返回接收到的数据
    recv_data = connect_socket.recv(1024)

    # if recv_data == b'':
    if len(recv_data) == 0:
      # 发送方关闭tcp的连接,recv()不会阻塞,而是直接返回''
      # print('client %s close' % str(client_addr))
      # s.getpeername()  s.getsockname()
      print('client %s close' % str(connect_socket.getpeername()))
      break
    print('recv: %s' % recv_data.decode('gbk'))

def main():

  listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
  # 设置允许复用地址,当建立连接之后服务器先关闭,设置地址复用
  listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)

  my_addr = ('192.168.105.125', 8080)
  listen_socket.bind(my_addr)

  listen_socket.listen(5) # 设置套接字成监听,5表示一个己连接队列长度
  print('listening...')

  while True:
    # 接受连接请求,创建连接套接字,用于客户端连通信
    connect_socket, client_addr = listen_socket.accept() # accept默认会引起阻塞
    # 新创建连接用的socket, 客户端的地址
    # print(connect_socket)
    print(client_addr)

    # 每当来新的客户端连接,创建协程,由协程和客户端通信
    coroutine_do_service = gevent.spawn(do_service, connect_socket)


if __name__ == "__main__":
  main()

总结

关于协程的问题,面试中好像也会时常被问到,大家一定要注意理解,概念,怎么去实现。

以上就是本文关于Python中协程用法代码详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python进阶教程之函数参数的多种传递方法
Aug 30 Python
Python定时执行之Timer用法示例
May 27 Python
Python实现按照指定要求逆序输出一个数字的方法
Apr 19 Python
python3 kmp 字符串匹配的方法
Jul 07 Python
python使用PIL实现多张图片垂直合并
Jan 15 Python
python中的&&及||的实现示例
Aug 07 Python
python读取大文件越来越慢的原因与解决
Aug 08 Python
Python定时任务随机时间执行的实现方法
Aug 14 Python
python异步编程 使用yield from过程解析
Sep 25 Python
python3常用的数据清洗方法(小结)
Oct 31 Python
在python3中使用shuffle函数要注意的地方
Feb 28 Python
Numpy中np.random.rand()和np.random.randn() 用法和区别详解
Oct 23 Python
Python实现简单生成验证码功能【基于random模块】
Feb 10 #Python
Django中Forms的使用代码解析
Feb 10 #Python
Python中列表与元组的乘法操作示例
Feb 10 #Python
Python程序运行原理图文解析
Feb 10 #Python
Python迭代器和生成器定义与用法示例
Feb 10 #Python
Python中装饰器学习总结
Feb 10 #Python
Python基于hashlib模块的文件MD5一致性加密验证示例
Feb 10 #Python
You might like
虹吸壶是谁发明的?煮出来的咖啡好喝吗
2021/03/04 冲泡冲煮
第二章 PHP入门基础之php代码写法
2011/12/30 PHP
解析thinkphp import 文件内容变量失效的问题
2013/06/20 PHP
php模板原理讲解
2013/11/13 PHP
php数组合并的二种方法
2014/03/21 PHP
PHP基于cookie与session统计网站访问量并输出显示的方法
2016/01/15 PHP
js判断生效时间不得大于失效时间的思路及代码
2013/04/23 Javascript
javascript操作字符串的原生方法
2014/12/22 Javascript
jquery通过load获取文件的内容并跳到锚点的方法
2015/01/29 Javascript
jQuery+jRange实现滑动选取数值范围特效
2015/03/14 Javascript
JS+CSS实现的简单折叠展开多级菜单效果
2015/09/12 Javascript
Validform表单验证总结篇
2016/10/31 Javascript
IntersectionObserver API 详解篇
2016/12/11 Javascript
jquery DataTable实现前后台动态分页
2017/06/17 jQuery
微信小程序+云开发实现欢迎登录注册
2019/05/24 Javascript
javascript实现画板功能
2020/04/12 Javascript
Python正则抓取网易新闻的方法示例
2017/04/21 Python
Python基于TCP实现会聊天的小机器人功能示例
2018/04/09 Python
python微元法计算函数曲线长度的方法
2018/11/08 Python
python实现对指定字符串补足固定长度倍数截断输出的方法
2018/11/15 Python
Python通用循环的构造方法实例分析
2018/12/19 Python
Python基础之条件控制操作示例【if语句】
2019/03/23 Python
详解Python列表赋值复制深拷贝及5种浅拷贝
2019/05/15 Python
python画图--输出指定像素点的颜色值方法
2019/07/03 Python
Python 生成一个从0到n个数字的列表4种方法小结
2019/11/28 Python
浅谈Python中的异常和JSON读写数据的实现
2020/02/27 Python
Python正则表达式学习小例子
2020/03/03 Python
python关于倒排列的知识点总结
2020/10/13 Python
英国布鲁姆精品店:Bloom Boutique
2018/03/01 全球购物
英国第一的滑雪服装和装备零售商:Snow+Rock
2020/02/01 全球购物
自荐信的禁忌和要点
2013/10/15 职场文书
生物科学系大学生的自我评价
2013/12/20 职场文书
放飞理想演讲稿
2014/09/09 职场文书
会计做账心得体会
2016/01/22 职场文书
vue ant design 封装弹窗表单的使用
2022/06/01 Vue.js
使用compose函数优化代码提高可读性及扩展性
2022/06/16 Javascript