Python多线程的退出控制实现


Posted in Python onAugust 10, 2020

日常前言

最近接 到一个抢票的爬虫外包,那个网站及其之捞,访问购票地址竟然还要排队,在购票高峰临时升一下服务器配置不行吗…没办法,甲方爸爸的要求还得做啊,其中一个障碍便是目标网站的后端限制了访问频次,俗话说:“上有政策,下有对策。” 立刻想到了多线程 + 多代理的方式进行访问。

Python多线程的退出控制实现

但此时问题便来了,多代理还好说,再写个爬虫爬一堆下来就好,多线程可就麻烦多了,多线程一旦发出去了,基本等同于失控的状态,你无法去结束或者是重启一个线程,最多只能是获取线程的信息,没有实际的控制权,而且Python官方也没有提供相应的结束函数。那么接下来,让我们来好好聊聊解决这个问题的思路。

单线程的结束

说实话,会百度在程序世界是一个优秀的习惯,不然怎么会有这么一张表情包呢

Python多线程的退出控制实现

但是百度这一次却不尽人意,搜了很久,结果不尽人意,基本上所有的搜索结果都告诉我只有结束单个线程的方法,我也试过循环使用百度的结束函数,但最终都只能是结束的当前的这一个线程,无法达到目标。

贴一段搜到的单线程结束代码示例

def _async_raise(tid, exctype):
 tid = ctypes.c_long(tid)
 if not inspect.isclass(exctype):
  exctype = type(exctype)
 res = ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, ctypes.py_object(exctype))
 if res == 0:
  raise ValueError("invalid thread id")
 elif res != 1:
  ctypes.pythonapi.PyThreadState_SetAsyncExc(tid, None)
  raise SystemError("PyThreadState_SetAsyncExc failed")
  
def stop_thread(thread):
 _async_raise(thread.ident, SystemExit)

那怎么结束多个线程呢?

既然度娘也搜不到,那就自己探索,打开python threading模块的官方文档,其中一个daemon属性进入了视野,单词翻译过来便是守护进程,相信大家应该或多或少的听到过,以下是官方的释义,大概意思就是只要在启动线程之前设置了这个属性为True,当父进程结束时,所有的子进程跟着全部结束,这样就好办了,接下来看看代码部分。

daemon
A boolean value indicating whether this thread is a daemon thread (True) or not (False). This must be set before start() is called, otherwise RuntimeError is raised. Its initial value is inherited from the creating thread; the main thread is not a daemon thread and therefore all threads created in the main thread default to daemon = False.

完整代码

import threading,time,random

class Messy:
 def __init__(self):
  self.__messy = 0

 def m(self,i):
		# 随机时间进行打印
  time.sleep(random.random()*2)
  print(i)
  if i == 1:
   self.__messy = 1

 def main(self):
  Threads = []
  # 将会启动10个线程,线程id为 1 时全部线程终止!
  for i in range(10):
   t = threading.Thread(target=self.m,args=(i,))
   t.daemon = 1
   Threads.append(t)
  # 启动所有线程
  for i in Threads:
   i.start()
  # 当标志位【 messy 】时所有多线程结束
  while 1:
   if self.__messy:
    break
  print('线程已退出!')

Messy().main()
# 继续执行后续程序
for i in range(5):
 print('yeah!')

此时,main这个函数对于多线程来讲,便是父进程,也就是守护进程。预计会进行10次循环的数字打印,但是当self.__messy这个标志位为真时,所有的剩余子线程将不会再执行,直接结束进行后续的操作

e.g:如下图便只打印了四次

Python多线程的退出控制实现

最后

目前来讲,用设置主线程退出的方法是可以完成现在这个抢票的目标。

但是后来发现其实这么做也会带来很多坏处,直接杀掉所有子线程对系统来说是一个很粗鲁的行为,如果涉及到的操作包括了文件数据、数据库数据的改动的话,内存无法被合理释放(之前就遇到过CPU莫名占用满),极有可能造成数据丢失甚至系统中断

我这里只是一个抢票的小程序,子线程只用到了POST,网络请求中断带来的影响还是相对来讲比较小的,所以大家酌情使用本篇所介绍的方法。

本文作者: Messy
原文链接:https://www.messys.top/detail/78

到此这篇关于Python多线程的退出控制实现的文章就介绍到这了,更多相关Python多线程退出控制内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用Python脚本来获取Cisco设备信息的示例
May 04 Python
对python:print打印时加u的含义详解
Dec 15 Python
python快排算法详解
Mar 04 Python
django rest framework vue 实现用户登录详解
Jul 29 Python
Windows10下 python3.7 安装 facenet的教程
Sep 10 Python
Python三元运算与lambda表达式实例解析
Nov 30 Python
Django关于admin的使用技巧和知识点
Feb 10 Python
vue常用指令代码实例总结
Mar 16 Python
python怎么对数字进行过滤
Jul 05 Python
Python分类测试代码实例汇总
Jul 23 Python
matplotlib绘制多子图共享鼠标光标的方法示例
Jan 08 Python
python脚本框架webpy模板赋值实现
Nov 20 Python
Python进行统计建模
Aug 10 #Python
Python如何爬取b站热门视频并导入Excel
Aug 10 #Python
拿来就用!Python批量合并PDF的示例代码
Aug 10 #Python
Python 发送邮件方法总结
Aug 10 #Python
Python getattr()函数使用方法代码实例
Aug 10 #Python
Python matplotlib模块及柱状图用法解析
Aug 10 #Python
Python如何操作docker redis过程解析
Aug 10 #Python
You might like
php 多个submit提交表单 处理方法
2009/07/07 PHP
PHP 抓取新浪读书频道的小说并生成txt电子书的代码
2009/12/18 PHP
php文档更新介绍
2011/07/22 PHP
浅谈Yii乐观锁的使用及原理
2017/07/25 PHP
Laravel手动返回错误码示例
2019/10/22 PHP
php封装的page分页类完整实例代码
2020/02/01 PHP
php实现通过stomp协议连接ActiveMQ操作示例
2020/02/23 PHP
动态调用CSS文件的JS代码
2010/07/29 Javascript
jquery基础教程之数组使用详解
2014/03/10 Javascript
基于JQuery实现仿网易邮箱全屏动感滚动插件fullPage
2015/09/20 Javascript
jQuery手动点击实现图片轮播特效
2020/04/20 Javascript
jquery ajax结合thinkphp的getjson实现跨域的方法
2016/06/06 Javascript
JavaScript常用正则函数用法示例
2017/01/23 Javascript
基于jQuery Easyui实现登陆框界面
2017/07/10 jQuery
Node.js创建HTTP文件服务器的使用示例
2018/05/11 Javascript
vue里面使用mui的弹出日期选择插件实例
2018/09/16 Javascript
vue地址栏直接输入路由无效问题的解决
2018/11/15 Javascript
Node.js 的 GC 机制详解
2019/06/03 Javascript
vue history 模式打包部署在域名的二级目录的配置指南
2019/07/02 Javascript
es6函数name属性功能与用法实例分析
2020/04/18 Javascript
Python网页解析利器BeautifulSoup安装使用介绍
2015/03/17 Python
Python Sql数据库增删改查操作简单封装
2016/04/18 Python
Python获取暗黑破坏神3战网前1000命位玩家的英雄技能统计
2016/07/04 Python
python中正则的使用指南
2016/12/04 Python
python爬取亚马逊书籍信息代码分享
2017/12/09 Python
Tornado高并发处理方法实例代码
2018/01/15 Python
python实现集中式的病毒扫描功能详解
2019/07/09 Python
windows上安装python3教程以及环境变量配置详解
2019/07/18 Python
python使用正则表达式(Regular Expression)方法超详细
2019/12/30 Python
HTML5的download属性详细介绍和使用实例
2014/04/23 HTML / CSS
瑞典最大的儿童用品网上商店:pinkorblue.se
2021/03/09 全球购物
经典安踏广告词
2014/03/21 职场文书
社区党员群众路线教育实践活动心得体会
2014/11/03 职场文书
源码解读Spring-Integration执行过程
2021/06/11 Java/Android
mysql中如何用命令创建联合唯一索引
2022/04/20 MySQL
CSS控制继承中的height能变为可继承吗
2022/06/10 HTML / CSS