python Event事件、进程池与线程池、协程解析


Posted in Python onOctober 25, 2019

Event事件

用来控制线程的执行

出现e.wait(),就会把这个线程设置为False,就不能执行这个任务;

只要有一个线程出现e.set(),就会告诉Event对象,把有e.wait的用户全部改为True,剩余的任务就会立马去执行。由一些线程去控制另一些线程,中间通过Event。

from threading import Event
from threading import Thread
import time
# 调用Event实例化出对象
e = Event()
#
# # 若该方法出现在任务中,则为False,阻塞
# e.wait() # False
# # 若该方法出现在任务中,则将其他线程的False改为True,进入就绪态和运行态
# e.set() # True
def light():
 print('红灯亮...')
 time.sleep(5)
 # 应该发出信号,告诉其他线程准备执行
 e.set() # 将car中的False变为True
 print('绿灯亮...')
def car(name):
 print('正在等红灯...')
 # 让所有汽车任务进入阻塞态
 e.wait() # False
 print(f'{name}正在加速飘逸...')
# 让一个light线程控制多个car线程
t = Thread(target=light)
t.start()

for i in range(10):
 t = Thread(target=car, args=(f'汽车{i}号', ))
 t.start()

进程池与线程池

进程池与线程池是用来控制当前程序允许创建(进程/线程)的数量

作用:保证在硬件允许的范围内创建(进程/线程)的数量

线程池使用一:

from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数
# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
for line in range(5):
 pool.submit(task)

使用二:

from concurrent.futures import ThreadPoolExecutor
import time

pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数

# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
 return 123
# 回调函数
def call_back(res):
 print(type(res))
 res2 = res.result() # 注意:赋值操作不要与接收的res同名
 print(res2)
for line in range(5):
 pool.submit(task).add_done_callback(call_back)

pool.shutdown() 会让所有线程池的任务结束后,才往下执行代码

多线程爬取梨视频

利用requests模块,封装底层socket套接字

  • 主页中获取所有视频id号,拼接视频详情页url
  • 在视频详情页中获取真实视频url srcUrl=
  • 往真实视频url地址发送请求获取 视频 二进制数据
  • 最后把视频二进制数据保存到本地

协程

  • 进程: 资源单位
  • 线程: 执行单位
  • 协程: 在单线程下实现并发

注意: 协程不是操作系统资源,目的是让单线程实现并发

协程目的

  • 操作系统:使用多道技术,切换 + 保存状态,一个是遇到IO, 另一个是CPU执行时间过长
  • 协程:通过手动模拟操作系统 “多道计数”, 实现 切换 + 保存状态
    • 手动实现,遇到IO切换,欺骗操作系统误以为没有IO操作
    • 单线程时,遇到IO,就切换 + 保存状态
    • 单线程时,对于计算密集型,来回切换 + 保存状态反而效率更低

优点:在IO密集型的情况下,会提高效率

缺点:若在计算密集型的情况下,来回切换,反而效率更低

import time

def func1():
 for i in range(10000000):
  i+1

def func2():
 for i in range(10000000):
  i+1
start = time.time()
func1()
func2()
stop = time.time()
print(stop - start) # 1.0312113761901855


# 基于yield实现并发 在计算密集型的情况下效率更低

def func1():
 while True:
  10000000+1
  yield

def func2():
 g = func1()
 for i in range(10000000):
  i+1
  next(g) # 每次执行next相当于切换到func1下面
start = time.time()
func2()
stop = time.time()
print(stop - start) # 1.3294126987457275

gevent

gevent是一个第三方模块,可以帮你监听IO操作,并切换

使用gevent的目的:在单线程下实现,遇到IO就会 保存状态 + 切换

import time
from gevent import monkey

monkey.patch_all() # 可以监听该程序下所有的IO操作
from gevent import spawn, joinall # 用于做切换 + 保存状态
def func1():
 print('1')
 time.sleep(1) # IO操作
def func2():
 print('2')
 time.sleep(3)
def func3():
 print('3')
 time.sleep(5)
start = time.time()
s1 = spawn(func1)
s2 = spawn(func2)
s3 = spawn(func3)

s1.join() # 发送信号,相当于等待自己(在单线程的情况下)
s2.join()
s3.join()

# joinall((s1, s2, s3)) # 一个个执行很麻烦,可以用joinall把这些全部装进去

end = time.time()
print(end - start) # 5.006161451339722

TCP服务端socket套接字实现协程

服务端:

from gevent import monkey
from gevent import spawn
import socket

monkey.patch_all()
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)

def task(conn):
 while True:
  try:
   data = conn.recv(1024)
   if len(data) == 0:
    break
   print(data.decode('utf-8'))
   send_data = data.upper()
   conn.send(send_data)

  except Exception:
   break
 conn.close()
def server2():
 while True:
  conn, addr = server.accept()
  print(addr)
  spawn(task, conn)
if __name__ == '__main__':
 s = spawn(server2)
 s.join()

客户端:

import socket
from threading import Thread, current_thread

def client():
 client = socket.socket()
 client.connect(('127.0.0.1', 9999))

 number = 0
 while True:
  send_data = f'{current_thread().name} {number}'
  client.send(send_data.encode('utf-8'))

  data = client.recv(1024)
  print(data.decode('utf-8'))
  number += 1


for i in range(400):
 t = Thread(target=client)
 t.start()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python smtplib发送带附件邮件小程序
May 22 Python
python得到一个excel的全部sheet标签值方法
Dec 10 Python
pycharm修改界面主题颜色的方法
Jan 17 Python
python 将有序数组转换为二叉树的方法
Mar 26 Python
使用python获取(宜宾市地震信息)地震信息
Jun 20 Python
Python CVXOPT模块安装及使用解析
Aug 01 Python
Python3实现飞机大战游戏
Apr 24 Python
keras 多gpu并行运行案例
Jun 10 Python
使用tensorflow根据输入更改tensor shape
Jun 23 Python
PyCharm+PyQt5+QtDesigner配置详解
Aug 12 Python
教你怎么用Python监控愉客行车程
Apr 29 Python
Python集合的基础操作
Nov 01 Python
python实现简单银行管理系统
Oct 25 #Python
Python银行系统实战源码
Oct 25 #Python
python实现银行管理系统
Oct 25 #Python
Django视图扩展类知识点详解
Oct 25 #Python
Python装饰器使用你可能不知道的几种姿势
Oct 25 #Python
win7下 python3.6 安装opencv 和 opencv-contrib-python解决 cv2.xfeatures2d.SIFT_create() 的问题
Oct 24 #Python
Python下应用opencv 实现人脸检测功能
Oct 24 #Python
You might like
php cout<<的一点看法
2010/01/24 PHP
php的laravel框架快速集成微信登录的方法
2016/12/12 PHP
laravel框架中路由设置,路由参数和路由命名实例分析
2019/11/23 PHP
createElement与createDocumentFragment的点点区别小结
2011/12/19 Javascript
文本框获得焦点和失去焦点的判断代码
2012/03/18 Javascript
JQuery页面的表格数据的增加与分页的实现
2013/12/10 Javascript
Jquery动态替换div内容及动态展示的方法
2015/01/23 Javascript
JavaScript实现的简单幂函数实例
2015/04/17 Javascript
javascript中replace( )方法的使用
2015/04/24 Javascript
简单分析javascript面向对象与原型
2015/05/21 Javascript
原生JS实现轮播效果+学前端的感受(防止走火入魔)
2016/08/21 Javascript
JavaScript 输出显示内容(document.write、alert、innerHTML、console.log)
2016/12/14 Javascript
vue.js element-ui validate中代码不执行问题解决方法
2017/12/18 Javascript
QQ跳转支付宝并自动领红包脚本(最新)
2018/06/22 Javascript
使用jQuery如何写一个含验证码的登录界面
2019/05/13 jQuery
python处理二进制数据的方法
2015/06/03 Python
用Python编写简单的微博爬虫
2016/03/04 Python
python 上下文管理器使用方法小结
2017/10/10 Python
利用信号如何监控Django模型对象字段值的变化详解
2017/11/27 Python
Python 使用PIL numpy 实现拼接图片的示例
2018/05/08 Python
Python实现的逻辑回归算法示例【附测试csv文件下载】
2018/12/28 Python
python实现二级登陆菜单及安装过程
2019/06/21 Python
python中字符串数组逆序排列方法总结
2019/06/23 Python
python+openCV调用摄像头拍摄和处理图片的实现
2019/08/06 Python
Python Web框架之Django框架cookie和session用法分析
2019/08/16 Python
wxpython+pymysql实现用户登陆功能
2019/11/19 Python
检测tensorflow是否使用gpu进行计算的方式
2020/02/03 Python
PyTorch加载自己的数据集实例详解
2020/03/18 Python
python selenium xpath定位操作
2020/09/01 Python
日本最大美瞳直送网:Morecontact(中文)
2019/04/03 全球购物
杰夫·班克斯男士服装网上商店:Jeff Banks
2019/10/24 全球购物
Muziker英国:中欧最大的音乐家商店
2020/02/05 全球购物
学习委员自我鉴定
2014/01/13 职场文书
竞选团支书演讲稿
2014/04/28 职场文书
安全资料员岗位职责范本
2014/06/28 职场文书
售房委托书
2014/08/30 职场文书