Python多线程的退出控制实现


Posted in Python onAugust 10, 2020

日常前言

最近接 到一个抢票的爬虫外包,那个网站及其之捞,访问购票地址竟然还要排队,在购票高峰临时升一下服务器配置不行吗…没办法,甲方爸爸的要求还得做啊,其中一个障碍便是目标网站的后端限制了访问频次,俗话说:“上有政策,下有对策。” 立刻想到了多线程 + 多代理的方式进行访问。

Python多线程的退出控制实现

但此时问题便来了,多代理还好说,再写个爬虫爬一堆下来就好,多线程可就麻烦多了,多线程一旦发出去了,基本等同于失控的状态,你无法去结束或者是重启一个线程,最多只能是获取线程的信息,没有实际的控制权,而且Python官方也没有提供相应的结束函数。那么接下来,让我们来好好聊聊解决这个问题的思路。

单线程的结束

说实话,会百度在程序世界是一个优秀的习惯,不然怎么会有这么一张表情包呢

Python多线程的退出控制实现

但是百度这一次却不尽人意,搜了很久,结果不尽人意,基本上所有的搜索结果都告诉我只有结束单个线程的方法,我也试过循环使用百度的结束函数,但最终都只能是结束的当前的这一个线程,无法达到目标。

贴一段搜到的单线程结束代码示例

def _async_raise(tid, exctype):
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
  exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
  raise ValueError("invalid thread id")
 elif res != 1:
  ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  raise SystemError("PyThreadState_SetAsyncExc failed")
  
def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)

那怎么结束多个线程呢?

既然度娘也搜不到,那就自己探索,打开python threading模块的官方文档,其中一个daemon属性进入了视野,单词翻译过来便是守护进程,相信大家应该或多或少的听到过,以下是官方的释义,大概意思就是只要在启动线程之前设置了这个属性为True,当父进程结束时,所有的子进程跟着全部结束,这样就好办了,接下来看看代码部分。

daemon
A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

完整代码

import threading,time,random

class Messy:
 def __init__(self):
  self.__messy = 0

 def m(self,i):
		# 随机时间进行打印
  time.sleep(random.random()*2)
  print(i)
  if i == 1:
   self.__messy = 1

 def main(self):
  Threads = []
  # 将会启动10个线程,线程id为 1 时全部线程终止!
  for i in range(10):
   t = threading.Thread(target=self.m,args=(i,))
   t.daemon = 1
   Threads.append(t)
  # 启动所有线程
  for i in Threads:
   i.start()
  # 当标志位【 messy 】时所有多线程结束
  while 1:
   if self.__messy:
    break
  print('线程已退出!')

Messy().main()
# 继续执行后续程序
for i in range(5):
 print('yeah!')

此时,main这个函数对于多线程来讲,便是父进程,也就是守护进程。预计会进行10次循环的数字打印,但是当self.__messy这个标志位为真时,所有的剩余子线程将不会再执行,直接结束进行后续的操作

e.g:如下图便只打印了四次

Python多线程的退出控制实现

最后

目前来讲,用设置主线程退出的方法是可以完成现在这个抢票的目标。

但是后来发现其实这么做也会带来很多坏处,直接杀掉所有子线程对系统来说是一个很粗鲁的行为,如果涉及到的操作包括了文件数据、数据库数据的改动的话,内存无法被合理释放(之前就遇到过CPU莫名占用满),极有可能造成数据丢失甚至系统中断

我这里只是一个抢票的小程序,子线程只用到了POST,网络请求中断带来的影响还是相对来讲比较小的,所以大家酌情使用本篇所介绍的方法。

本文作者: Messy
原文链接:https://www.messys.top/detail/78

到此这篇关于Python多线程的退出控制实现的文章就介绍到这了,更多相关Python多线程退出控制内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在Python 3中实现类型检查器的简单方法
Jul 03 Python
浅谈Python的文件类型
May 30 Python
利用selenium 3.7和python3添加cookie模拟登陆的实现
Nov 20 Python
python中kmeans聚类实现代码
Feb 23 Python
python实现京东订单推送到测试环境,提供便利操作示例
Aug 09 Python
Python基于内置库pytesseract实现图片验证码识别功能
Feb 24 Python
用Python绘制漫步图实例讲解
Feb 26 Python
使用Pycharm(Python工具)新建项目及创建Python文件的教程
Apr 26 Python
python GUI计算器的实现
Oct 09 Python
jupyter使用自动补全和切换默认浏览器的方法
Nov 18 Python
Python操作Excel的学习笔记
Feb 18 Python
Python访问Redis的详细操作
Jun 26 Python
Python进行统计建模
Aug 10 #Python
Python如何爬取b站热门视频并导入Excel
Aug 10 #Python
拿来就用!Python批量合并PDF的示例代码
Aug 10 #Python
Python 发送邮件方法总结
Aug 10 #Python
Python getattr()函数使用方法代码实例
Aug 10 #Python
Python matplotlib模块及柱状图用法解析
Aug 10 #Python
Python如何操作docker redis过程解析
Aug 10 #Python
You might like
2019年漫画销量排行榜:鬼灭登顶 海贼单卷制霸 尾田盛赞鬼灭
2020/03/08 日漫
PHP实现HTTP断点续传的方法
2015/06/17 PHP
PHP加密解密类实例代码
2016/07/20 PHP
PHP实现带重试功能的curl连接示例
2016/07/28 PHP
laravel ORM 只开启created_at的几种方法总结
2018/01/29 PHP
JavaScript XML操作 封装类
2009/07/01 Javascript
通过Mootools 1.2来操纵HTML DOM元素
2009/09/15 Javascript
Prototype的Class.create函数解析
2011/09/22 Javascript
jQuery结合PHP+MySQL实现二级联动下拉列表[实例]
2011/11/15 Javascript
不用锚点也可以平滑滚动到页面的指定位置实现代码
2013/05/08 Javascript
js判断undefined类型示例代码
2014/02/10 Javascript
display和visibility的区别示例介绍
2014/02/26 Javascript
Js实现手机发送验证码时按钮延迟操作
2014/06/20 Javascript
基于javascript实现文字无缝滚动效果
2016/03/22 Javascript
Vue.js每天必学之构造器与生命周期
2016/09/05 Javascript
Angular 2应用的8个主要构造块有哪些
2016/10/17 Javascript
vue.js指令v-model实现方法
2016/12/05 Javascript
微信小程序上传文件到阿里OSS教程
2019/05/20 Javascript
Python 基于Twisted框架的文件夹网络传输源码
2016/08/28 Python
Python对List中的元素排序的方法
2018/04/01 Python
python实现list由于numpy array的转换
2018/04/04 Python
Python实现随机生成手机号及正则验证手机号的方法
2018/04/25 Python
python tkinter组件使用详解
2019/09/16 Python
django rest framework serializers序列化实例
2020/05/13 Python
新手学习Python2和Python3中print不同的用法
2020/06/09 Python
CSS3标注引用的出处和来源的方法
2020/02/25 HTML / CSS
全球地下的服装和态度:Slam Jam
2018/02/04 全球购物
Maisons du Monde德国:法国家具和装饰的市场领导者
2019/07/26 全球购物
专科毕业生学习生活的自我评价
2013/10/26 职场文书
信访工作经验交流材料
2014/05/23 职场文书
房屋维修协议书范本
2014/09/25 职场文书
交通事故赔偿协议书怎么写
2014/10/04 职场文书
考试作弊检讨书范文
2015/01/27 职场文书
部队个人年终总结
2015/03/02 职场文书
2015年个人工作总结报告
2015/04/25 职场文书
Django中的JWT身份验证的实现
2021/05/07 Python