python Event事件、进程池与线程池、协程解析


Posted in Python onOctober 25, 2019

Event事件

用来控制线程的执行

出现e.wait(),就会把这个线程设置为False,就不能执行这个任务;

只要有一个线程出现e.set(),就会告诉Event对象,把有e.wait的用户全部改为True,剩余的任务就会立马去执行。由一些线程去控制另一些线程,中间通过Event。

from threading import Event
from threading import Thread
import time
# 调用Event实例化出对象
e = Event()
#
# # 若该方法出现在任务中,则为False,阻塞
# e.wait() # False
# # 若该方法出现在任务中,则将其他线程的False改为True,进入就绪态和运行态
# e.set() # True
def light():
 print('红灯亮...')
 time.sleep(5)
 # 应该发出信号,告诉其他线程准备执行
 e.set() # 将car中的False变为True
 print('绿灯亮...')
def car(name):
 print('正在等红灯...')
 # 让所有汽车任务进入阻塞态
 e.wait() # False
 print(f'{name}正在加速飘逸...')
# 让一个light线程控制多个car线程
t = Thread(target=light)
t.start()

for i in range(10):
 t = Thread(target=car, args=(f'汽车{i}号', ))
 t.start()

进程池与线程池

进程池与线程池是用来控制当前程序允许创建(进程/线程)的数量

作用:保证在硬件允许的范围内创建(进程/线程)的数量

线程池使用一:

from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数
# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
for line in range(5):
 pool.submit(task)

使用二:

from concurrent.futures import ThreadPoolExecutor
import time

pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数

# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
 return 123
# 回调函数
def call_back(res):
 print(type(res))
 res2 = res.result() # 注意:赋值操作不要与接收的res同名
 print(res2)
for line in range(5):
 pool.submit(task).add_done_callback(call_back)

pool.shutdown() 会让所有线程池的任务结束后,才往下执行代码

多线程爬取梨视频

利用requests模块,封装底层socket套接字

  • 主页中获取所有视频id号,拼接视频详情页url
  • 在视频详情页中获取真实视频url srcUrl=
  • 往真实视频url地址发送请求获取 视频 二进制数据
  • 最后把视频二进制数据保存到本地

协程

  • 进程: 资源单位
  • 线程: 执行单位
  • 协程: 在单线程下实现并发

注意: 协程不是操作系统资源,目的是让单线程实现并发

协程目的

  • 操作系统:使用多道技术,切换 + 保存状态,一个是遇到IO, 另一个是CPU执行时间过长
  • 协程:通过手动模拟操作系统 “多道计数”, 实现 切换 + 保存状态
    • 手动实现,遇到IO切换,欺骗操作系统误以为没有IO操作
    • 单线程时,遇到IO,就切换 + 保存状态
    • 单线程时,对于计算密集型,来回切换 + 保存状态反而效率更低

优点:在IO密集型的情况下,会提高效率

缺点:若在计算密集型的情况下,来回切换,反而效率更低

import time

def func1():
 for i in range(10000000):
  i+1

def func2():
 for i in range(10000000):
  i+1
start = time.time()
func1()
func2()
stop = time.time()
print(stop - start) # 1.0312113761901855


# 基于yield实现并发 在计算密集型的情况下效率更低

def func1():
 while True:
  10000000+1
  yield

def func2():
 g = func1()
 for i in range(10000000):
  i+1
  next(g) # 每次执行next相当于切换到func1下面
start = time.time()
func2()
stop = time.time()
print(stop - start) # 1.3294126987457275

gevent

gevent是一个第三方模块,可以帮你监听IO操作,并切换

使用gevent的目的:在单线程下实现,遇到IO就会 保存状态 + 切换

import time
from gevent import monkey

monkey.patch_all() # 可以监听该程序下所有的IO操作
from gevent import spawn, joinall # 用于做切换 + 保存状态
def func1():
 print('1')
 time.sleep(1) # IO操作
def func2():
 print('2')
 time.sleep(3)
def func3():
 print('3')
 time.sleep(5)
start = time.time()
s1 = spawn(func1)
s2 = spawn(func2)
s3 = spawn(func3)

s1.join() # 发送信号,相当于等待自己(在单线程的情况下)
s2.join()
s3.join()

# joinall((s1, s2, s3)) # 一个个执行很麻烦,可以用joinall把这些全部装进去

end = time.time()
print(end - start) # 5.006161451339722

TCP服务端socket套接字实现协程

服务端:

from gevent import monkey
from gevent import spawn
import socket

monkey.patch_all()
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)

def task(conn):
 while True:
  try:
   data = conn.recv(1024)
   if len(data) == 0:
    break
   print(data.decode('utf-8'))
   send_data = data.upper()
   conn.send(send_data)

  except Exception:
   break
 conn.close()
def server2():
 while True:
  conn, addr = server.accept()
  print(addr)
  spawn(task, conn)
if __name__ == '__main__':
 s = spawn(server2)
 s.join()

客户端:

import socket
from threading import Thread, current_thread

def client():
 client = socket.socket()
 client.connect(('127.0.0.1', 9999))

 number = 0
 while True:
  send_data = f'{current_thread().name} {number}'
  client.send(send_data.encode('utf-8'))

  data = client.recv(1024)
  print(data.decode('utf-8'))
  number += 1


for i in range(400):
 t = Thread(target=client)
 t.start()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的词法分析与语法分析
May 18 Python
Python实现周期性抓取网页内容的方法
Nov 04 Python
利用Python学习RabbitMQ消息队列
Nov 30 Python
python opencv设置摄像头分辨率以及各个参数的方法
Apr 02 Python
详解Python 数据库的Connection、Cursor两大对象
Jun 25 Python
关于PyTorch 自动求导机制详解
Aug 18 Python
Python try except异常捕获机制原理解析
Apr 18 Python
Keras SGD 随机梯度下降优化器参数设置方式
Jun 19 Python
基于python实现ROC曲线绘制广场解析
Jun 28 Python
python 使用cycle构造无限循环迭代器
Dec 02 Python
Python+Opencv实现把图片、视频互转的示例
Dec 17 Python
利用Python如何画一颗心、小人发射爱心
Feb 21 Python
python实现简单银行管理系统
Oct 25 #Python
Python银行系统实战源码
Oct 25 #Python
python实现银行管理系统
Oct 25 #Python
Django视图扩展类知识点详解
Oct 25 #Python
Python装饰器使用你可能不知道的几种姿势
Oct 25 #Python
win7下 python3.6 安装opencv 和 opencv-contrib-python解决 cv2.xfeatures2d.SIFT_create() 的问题
Oct 24 #Python
Python下应用opencv 实现人脸检测功能
Oct 24 #Python
You might like
虹吸壶煮咖啡26个注意事项
2021/03/03 冲泡冲煮
无数据库的详细域名查询程序PHP版(3)
2006/10/09 PHP
ThinkPHP Mobile使用方法简明教程
2014/06/18 PHP
详解PHP中instanceof关键字及instanceof关键字有什么作用
2015/11/05 PHP
laravel 框架配置404等异常页面
2019/01/07 PHP
PHP中__set()实例用法和基础讲解
2019/07/23 PHP
网页设计常用的一些技巧
2006/12/22 Javascript
用JavaScript对JSON进行模式匹配(Part 1-设计)
2010/07/17 Javascript
如何学习Javascript入门指导
2013/11/01 Javascript
jQuery中$.fn的用法示例介绍
2013/11/05 Javascript
深入理解JavaScript系列(48):对象创建模式(下篇)
2015/03/04 Javascript
JavaScript创建对象的方式小结(4种方式)
2015/12/17 Javascript
关于iframe跨域POST提交的方法示例
2017/01/15 Javascript
AngularJS路由实现页面跳转实例
2017/03/03 Javascript
微信小程序 标签传入数据
2017/05/08 Javascript
详解ES6中的 Set Map 数据结构学习总结
2018/11/06 Javascript
详解JavaScript作用域和作用域链
2019/03/19 Javascript
微信小程序学习笔记之跳转页面、传递参数获得数据操作图文详解
2019/03/28 Javascript
一起来了解一下JavaScript的预编译(小结)
2021/03/01 Javascript
详解Python的collections模块中的deque双端队列结构
2016/07/07 Python
python脚本监控Tomcat服务器的方法
2018/07/06 Python
python3人脸识别的两种方法
2019/04/25 Python
python操作excel让工作自动化
2019/08/09 Python
Python字典深浅拷贝与循环方式方法详解
2020/02/09 Python
python实现梯度法 python最速下降法
2020/03/24 Python
Pytorch 使用不同版本的cuda的方法步骤
2020/04/02 Python
django中嵌套的try-except实例
2020/05/21 Python
css3让div随鼠标移动而抖动起来
2014/02/10 HTML / CSS
荷兰网上买鞋:MooieSchoenen.nl
2017/09/12 全球购物
党员政治学习材料
2014/05/14 职场文书
不服从公司安排检讨书
2014/09/24 职场文书
先进个人申报材料
2014/12/30 职场文书
高温慰问简报
2015/07/21 职场文书
创业计划书之个人工作室
2019/08/22 职场文书
Pandas自定义选项option设置
2021/07/25 Python
《进击的巨人》新联动CM 兵长强势出击兽巨人
2022/04/05 日漫