python Event事件、进程池与线程池、协程解析


Posted in Python onOctober 25, 2019

Event事件

用来控制线程的执行

出现e.wait(),就会把这个线程设置为False,就不能执行这个任务;

只要有一个线程出现e.set(),就会告诉Event对象,把有e.wait的用户全部改为True,剩余的任务就会立马去执行。由一些线程去控制另一些线程,中间通过Event。

from threading import Event
from threading import Thread
import time
# 调用Event实例化出对象
e = Event()
#
# # 若该方法出现在任务中,则为False,阻塞
# e.wait() # False
# # 若该方法出现在任务中,则将其他线程的False改为True,进入就绪态和运行态
# e.set() # True
def light():
 print('红灯亮...')
 time.sleep(5)
 # 应该发出信号,告诉其他线程准备执行
 e.set() # 将car中的False变为True
 print('绿灯亮...')
def car(name):
 print('正在等红灯...')
 # 让所有汽车任务进入阻塞态
 e.wait() # False
 print(f'{name}正在加速飘逸...')
# 让一个light线程控制多个car线程
t = Thread(target=light)
t.start()

for i in range(10):
 t = Thread(target=car, args=(f'汽车{i}号', ))
 t.start()

进程池与线程池

进程池与线程池是用来控制当前程序允许创建(进程/线程)的数量

作用:保证在硬件允许的范围内创建(进程/线程)的数量

线程池使用一:

from concurrent.futures import ThreadPoolExecutor
import time
pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数
# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
for line in range(5):
 pool.submit(task)

使用二:

from concurrent.futures import ThreadPoolExecutor
import time

pool = ThreadPoolExecutor(5) # 5代表只能开启5个进程, 不加默认使用cpu的进程数

# ThreadPoolExecutor(5) # 5代表只能开启5个线程
# pool.submit() #异步提交任务, 括号里传函数地址
def task():
 print('线程任务开始了...')
 time.sleep(1)
 print('线程任务结束了...')
 return 123
# 回调函数
def call_back(res):
 print(type(res))
 res2 = res.result() # 注意:赋值操作不要与接收的res同名
 print(res2)
for line in range(5):
 pool.submit(task).add_done_callback(call_back)

pool.shutdown() 会让所有线程池的任务结束后,才往下执行代码

多线程爬取梨视频

利用requests模块,封装底层socket套接字

  • 主页中获取所有视频id号,拼接视频详情页url
  • 在视频详情页中获取真实视频url srcUrl=
  • 往真实视频url地址发送请求获取 视频 二进制数据
  • 最后把视频二进制数据保存到本地

协程

  • 进程: 资源单位
  • 线程: 执行单位
  • 协程: 在单线程下实现并发

注意: 协程不是操作系统资源,目的是让单线程实现并发

协程目的

  • 操作系统:使用多道技术,切换 + 保存状态,一个是遇到IO, 另一个是CPU执行时间过长
  • 协程:通过手动模拟操作系统 “多道计数”, 实现 切换 + 保存状态
    • 手动实现,遇到IO切换,欺骗操作系统误以为没有IO操作
    • 单线程时,遇到IO,就切换 + 保存状态
    • 单线程时,对于计算密集型,来回切换 + 保存状态反而效率更低

优点:在IO密集型的情况下,会提高效率

缺点:若在计算密集型的情况下,来回切换,反而效率更低

import time

def func1():
 for i in range(10000000):
  i+1

def func2():
 for i in range(10000000):
  i+1
start = time.time()
func1()
func2()
stop = time.time()
print(stop - start) # 1.0312113761901855


# 基于yield实现并发 在计算密集型的情况下效率更低

def func1():
 while True:
  10000000+1
  yield

def func2():
 g = func1()
 for i in range(10000000):
  i+1
  next(g) # 每次执行next相当于切换到func1下面
start = time.time()
func2()
stop = time.time()
print(stop - start) # 1.3294126987457275

gevent

gevent是一个第三方模块,可以帮你监听IO操作,并切换

使用gevent的目的:在单线程下实现,遇到IO就会 保存状态 + 切换

import time
from gevent import monkey

monkey.patch_all() # 可以监听该程序下所有的IO操作
from gevent import spawn, joinall # 用于做切换 + 保存状态
def func1():
 print('1')
 time.sleep(1) # IO操作
def func2():
 print('2')
 time.sleep(3)
def func3():
 print('3')
 time.sleep(5)
start = time.time()
s1 = spawn(func1)
s2 = spawn(func2)
s3 = spawn(func3)

s1.join() # 发送信号,相当于等待自己(在单线程的情况下)
s2.join()
s3.join()

# joinall((s1, s2, s3)) # 一个个执行很麻烦,可以用joinall把这些全部装进去

end = time.time()
print(end - start) # 5.006161451339722

TCP服务端socket套接字实现协程

服务端:

from gevent import monkey
from gevent import spawn
import socket

monkey.patch_all()
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)

def task(conn):
 while True:
  try:
   data = conn.recv(1024)
   if len(data) == 0:
    break
   print(data.decode('utf-8'))
   send_data = data.upper()
   conn.send(send_data)

  except Exception:
   break
 conn.close()
def server2():
 while True:
  conn, addr = server.accept()
  print(addr)
  spawn(task, conn)
if __name__ == '__main__':
 s = spawn(server2)
 s.join()

客户端:

import socket
from threading import Thread, current_thread

def client():
 client = socket.socket()
 client.connect(('127.0.0.1', 9999))

 number = 0
 while True:
  send_data = f'{current_thread().name} {number}'
  client.send(send_data.encode('utf-8'))

  data = client.recv(1024)
  print(data.decode('utf-8'))
  number += 1


for i in range(400):
 t = Thread(target=client)
 t.start()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现简单状态框架的方法
Mar 19 Python
python实现连接mongodb的方法
May 08 Python
python实现汉诺塔递归算法经典案例
Mar 01 Python
Python 实现链表实例代码
Apr 07 Python
Python学习之Django的管理界面代码示例
Feb 10 Python
浅谈Python中的私有变量
Feb 28 Python
python打包压缩、读取指定目录下的指定类型文件
Apr 12 Python
python根据url地址下载小文件的实例
Dec 18 Python
Python寻找路径和查找文件路径的示例
Jul 10 Python
Python统计学一数据的概括性度量详解
Mar 03 Python
Python 操作 PostgreSQL 数据库示例【连接、增删改查等】
Apr 21 Python
python3实现飞机大战
Nov 29 Python
python实现简单银行管理系统
Oct 25 #Python
Python银行系统实战源码
Oct 25 #Python
python实现银行管理系统
Oct 25 #Python
Django视图扩展类知识点详解
Oct 25 #Python
Python装饰器使用你可能不知道的几种姿势
Oct 25 #Python
win7下 python3.6 安装opencv 和 opencv-contrib-python解决 cv2.xfeatures2d.SIFT_create() 的问题
Oct 24 #Python
Python下应用opencv 实现人脸检测功能
Oct 24 #Python
You might like
使用php+Ajax实现唯一校验实现代码[简单应用]
2011/11/29 PHP
PHP中将网页导出为Word文档的代码
2012/05/25 PHP
php简单的留言板与回复功能具体实现
2014/02/19 PHP
PHP SplObjectStorage使用实例
2015/05/12 PHP
使用Rancher在K8S上部署高性能PHP应用程序的教程
2020/07/10 PHP
用JavaScript脚本实现Web页面信息交互
2006/10/11 Javascript
Jqyery中同等与js中windows.onload的应用
2011/05/10 Javascript
JavaScript中的View-Model使用介绍
2011/08/11 Javascript
JS继承--原型链继承和类式继承
2013/04/08 Javascript
框架页面高度自动刷新的Javascript脚本
2013/11/01 Javascript
jquery.cookie() 方法的使用(读取、写入、删除)
2013/12/05 Javascript
jQuery中Ajax的get、post等方法详解
2015/01/20 Javascript
JS实现在状态栏显示打字效果完整实例
2015/11/02 Javascript
如何动态加载外部Javascript文件
2015/12/02 Javascript
php基于redis处理session的方法
2016/03/14 Javascript
微信小程序 Video API实例详解
2016/10/02 Javascript
javascript实现二叉树的代码
2017/06/08 Javascript
layer弹出层 iframe层去掉滚动条的实例代码
2018/08/17 Javascript
简述vue状态管理模式之vuex
2018/08/29 Javascript
vue获取元素宽、高、距离左边距离,右,上距离等还有XY坐标轴的方法
2018/09/05 Javascript
vant实现购物车功能
2020/06/29 Javascript
python 自动提交和抓取网页
2009/07/13 Python
Python进阶篇之字典操作总结
2016/11/16 Python
基于python实现名片管理系统
2018/11/30 Python
django项目登录中使用图片验证码的实现方法
2019/08/15 Python
Django数据模型中on_delete使用详解
2020/11/30 Python
django inspectdb 操作已有数据库数据的使用步骤
2021/02/07 Python
Clarks英国官方网站:全球领军鞋履品牌
2016/11/26 全球购物
德国净水壶和滤芯品牌:波尔德PearlCo(家用净水器)
2020/04/29 全球购物
人民教师求职自荐信
2014/03/12 职场文书
婚纱摄影师求职信范文
2014/04/17 职场文书
ktv筹备计划书
2014/05/03 职场文书
交通违章检讨书
2014/09/21 职场文书
长城的导游词
2015/01/30 职场文书
2015新学期家长寄语
2015/02/26 职场文书
如何使用python包中的sched事件调度器
2022/04/30 Python