Python多线程的退出控制实现


Posted in Python onAugust 10, 2020

日常前言

最近接 到一个抢票的爬虫外包,那个网站及其之捞,访问购票地址竟然还要排队,在购票高峰临时升一下服务器配置不行吗…没办法,甲方爸爸的要求还得做啊,其中一个障碍便是目标网站的后端限制了访问频次,俗话说:“上有政策,下有对策。” 立刻想到了多线程 + 多代理的方式进行访问。

Python多线程的退出控制实现

但此时问题便来了,多代理还好说,再写个爬虫爬一堆下来就好,多线程可就麻烦多了,多线程一旦发出去了,基本等同于失控的状态,你无法去结束或者是重启一个线程,最多只能是获取线程的信息,没有实际的控制权,而且Python官方也没有提供相应的结束函数。那么接下来,让我们来好好聊聊解决这个问题的思路。

单线程的结束

说实话,会百度在程序世界是一个优秀的习惯,不然怎么会有这么一张表情包呢

Python多线程的退出控制实现

但是百度这一次却不尽人意,搜了很久,结果不尽人意,基本上所有的搜索结果都告诉我只有结束单个线程的方法,我也试过循环使用百度的结束函数,但最终都只能是结束的当前的这一个线程,无法达到目标。

贴一段搜到的单线程结束代码示例

def _async_raise(tid, exctype):
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
  exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
  raise ValueError("invalid thread id")
 elif res != 1:
  ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  raise SystemError("PyThreadState_SetAsyncExc failed")
  
def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)

那怎么结束多个线程呢?

既然度娘也搜不到,那就自己探索,打开python threading模块的官方文档,其中一个daemon属性进入了视野,单词翻译过来便是守护进程,相信大家应该或多或少的听到过,以下是官方的释义,大概意思就是只要在启动线程之前设置了这个属性为True,当父进程结束时,所有的子进程跟着全部结束,这样就好办了,接下来看看代码部分。

daemon
A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

完整代码

import threading,time,random

class Messy:
 def __init__(self):
  self.__messy = 0

 def m(self,i):
		# 随机时间进行打印
  time.sleep(random.random()*2)
  print(i)
  if i == 1:
   self.__messy = 1

 def main(self):
  Threads = []
  # 将会启动10个线程,线程id为 1 时全部线程终止!
  for i in range(10):
   t = threading.Thread(target=self.m,args=(i,))
   t.daemon = 1
   Threads.append(t)
  # 启动所有线程
  for i in Threads:
   i.start()
  # 当标志位【 messy 】时所有多线程结束
  while 1:
   if self.__messy:
    break
  print('线程已退出!')

Messy().main()
# 继续执行后续程序
for i in range(5):
 print('yeah!')

此时,main这个函数对于多线程来讲,便是父进程,也就是守护进程。预计会进行10次循环的数字打印,但是当self.__messy这个标志位为真时,所有的剩余子线程将不会再执行,直接结束进行后续的操作

e.g:如下图便只打印了四次

Python多线程的退出控制实现

最后

目前来讲,用设置主线程退出的方法是可以完成现在这个抢票的目标。

但是后来发现其实这么做也会带来很多坏处,直接杀掉所有子线程对系统来说是一个很粗鲁的行为,如果涉及到的操作包括了文件数据、数据库数据的改动的话,内存无法被合理释放(之前就遇到过CPU莫名占用满),极有可能造成数据丢失甚至系统中断

我这里只是一个抢票的小程序,子线程只用到了POST,网络请求中断带来的影响还是相对来讲比较小的,所以大家酌情使用本篇所介绍的方法。

本文作者: Messy
原文链接:https://www.messys.top/detail/78

到此这篇关于Python多线程的退出控制实现的文章就介绍到这了,更多相关Python多线程退出控制内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Django的模版来配合字符串翻译工作
Jul 27 Python
Python时间的精准正则匹配方法分析
Aug 17 Python
图解Python变量与赋值
Apr 03 Python
Python中staticmethod和classmethod的作用与区别
Oct 11 Python
python实现感知器算法(批处理)
Jan 18 Python
python 自动批量打开网页的示例
Feb 21 Python
Python实现最常见加密方式详解
Jul 13 Python
与Django结合利用模型对上传图片预测的实例详解
Aug 07 Python
Python求解正态分布置信区间教程
Nov 20 Python
python代码打印100-999之间的回文数示例
Nov 24 Python
PyTorch中的padding(边缘填充)操作方式
Jan 03 Python
Vs Code中8个好用的python 扩展插件
Oct 12 Python
Python进行统计建模
Aug 10 #Python
Python如何爬取b站热门视频并导入Excel
Aug 10 #Python
拿来就用!Python批量合并PDF的示例代码
Aug 10 #Python
Python 发送邮件方法总结
Aug 10 #Python
Python getattr()函数使用方法代码实例
Aug 10 #Python
Python matplotlib模块及柱状图用法解析
Aug 10 #Python
Python如何操作docker redis过程解析
Aug 10 #Python
You might like
php xml常用函数的集合(比较详细)
2013/06/06 PHP
PHP中ini_set与ini_get用法实例
2014/11/04 PHP
PHP解析目录路径的3个函数总结
2014/11/18 PHP
JS 动态加载脚本的4种方法
2009/05/05 Javascript
firefox火狐浏览器与与ie兼容的2个问题总结
2010/07/20 Javascript
js下通过getList函数实现分页效果的代码
2010/09/17 Javascript
Jquery下attr和removeAttr的使用方法
2010/12/28 Javascript
javascript学习笔记(七) js函数介绍
2012/06/19 Javascript
JS 控件事件小结
2012/10/31 Javascript
jQuery中$.fn的用法示例介绍
2013/11/05 Javascript
javascript列表框操作函数集合汇总
2013/11/28 Javascript
jquery判断小数点两位和自动删除小数两位后的数字
2014/03/19 Javascript
将form表单中的元素转换成对象的方法适用表单提交
2014/05/02 Javascript
JS取得绝对路径的实现代码
2015/01/16 Javascript
jquery实现简单的二级导航下拉菜单效果
2015/09/07 Javascript
HTML5 Shiv完美解决IE(IE6/IE7/IE8)不兼容HTML5标签的方法
2015/11/25 Javascript
DOM 事件的深入浅出(二)
2016/12/05 Javascript
self.attachevent is not a function的解决方法
2017/04/04 Javascript
vuex学习之Actions的用法详解
2017/08/29 Javascript
用node-webkit把web应用打包成桌面应用(windows环境)
2018/02/01 Javascript
python两种遍历字典(dict)的方法比较
2014/05/29 Python
分析Python中设计模式之Decorator装饰器模式的要点
2016/03/02 Python
详解Django中六个常用的自定义装饰器
2018/07/04 Python
Python找出微信上删除你好友的人脚本写法
2018/11/01 Python
树莓派+摄像头实现对移动物体的检测
2019/06/22 Python
Django中多种重定向方法使用详解
2019/07/17 Python
Tensorflow:转置函数 transpose的使用详解
2020/02/11 Python
Html5踩坑记之mandMobile使用小记
2020/04/02 HTML / CSS
美国男士内衣品牌:Tommy John
2017/12/22 全球购物
美国著名的家居用品购物网站:Bed Bath & Beyond
2018/01/05 全球购物
给民警的表扬信
2014/01/08 职场文书
大学生职业生涯规划范文——找准自我,定位人生
2014/01/23 职场文书
乡镇八一建军节活动方案
2014/08/24 职场文书
医疗专业毕业生求职信
2014/08/28 职场文书
乡镇2014法制宣传日活动总结
2014/11/01 职场文书
OpenCV-Python实现人脸美白算法的实例
2021/06/11 Python