python3爬虫中引用Queue的实例讲解


Posted in Python onNovember 24, 2020

我们去一个受欢迎的地方买东西,难免会需要排队等待。如果有多个窗口的话,就会有不同队列的产生,当然每个队伍的人数也会出现参差不齐的现象。我们今天所要说的Queue就可以理解成生活中的排队现象。那么结合我们所要用的爬虫知识,应该怎么在Queue中应用呢?接下来就开始今天的内容学习:

队列这种东西大家应该都知道,就是一个先进先出的数据结构,而Python的标准库中提供了一个线程安全的队列,也就是说该模块是适用于多线程编程的先进先出(first-in,first-out,FIFO)数据结构,可以用来在生产者消费者线程之间安全地传递消息或其他数据。它会为调用者处理锁定,使用多个线程可以安全地处理同一个 Queue 实例。Queue 的大小(其中包含的元素个数)可能要受限,以限制内存使用或处理。

在Python 3中要引入Queue和Python 2中引入Queue是不同,引入方式如下:

#python 2
import Queue
# python 3
from queue import Queue

因为是线程安全的,很自然就可以利用Queue来实现一个多线程爬虫咯,而Queue的一些常见操作如下:

# 实例化一个队列,可以在指定队列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一个长度为50的队列
# 入队一个数据data
q.put(data)
# 出队并赋值给item
item = q.get()
# 判断队列是否为空,是否满
if q.empty():
  print('队列为空')
if q.full():
print('队列满')

另外,除了普通队列,标准库中还有优先队列和后进先出队列这两个队列,分别为LifoQueue和PriorityQueue,其引用方式与Queue类似。

到此这篇关于python3爬虫中引用Queue的实例讲解的文章就介绍到这了,更多相关python3爬虫中如何引用Queue案例内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用Socket(Https)Post登录百度的实现代码
May 18 Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 Python
Python爬虫模拟登录带验证码网站
Jan 22 Python
python模块之re正则表达式详解
Feb 03 Python
Python随机生成均匀分布在三角形内或者任意多边形内的点
Dec 14 Python
python如何创建TCP服务端和客户端
Aug 26 Python
详解python爬虫系列之初识爬虫
Apr 06 Python
详解Python3网络爬虫(二):利用urllib.urlopen向有道翻译发送数据获得翻译结果
May 07 Python
Python爬取知乎图片代码实现解析
Sep 17 Python
pytorch-神经网络拟合曲线实例
Jan 15 Python
numpy库ndarray多维数组的维度变换方法(reshape、resize、swapaxes、flatten)
Apr 28 Python
pycharm设置默认的UTF-8编码模式的方法详解
Jun 01 Python
python3爬虫中多线程的优势总结
Nov 24 #Python
利用python+ffmpeg合并B站视频及格式转换的实例代码
Nov 24 #Python
python 如何停止一个死循环的线程
Nov 24 #Python
python将下载到本地m3u8视频合成MP4的代码详解
Nov 24 #Python
Python做图像处理及视频音频文件分离和合成功能
Nov 24 #Python
Python调用Redis的示例代码
Nov 24 #Python
基于django和dropzone.js实现上传文件
Nov 24 #Python
You might like
PHP 面向对象详解
2012/09/13 PHP
ThinkPHP行为扩展Behavior应用实例详解
2014/07/22 PHP
PHP分页显示的方法分析【附PHP通用分页类】
2018/05/10 PHP
jQuery 浮动广告实现代码
2008/12/25 Javascript
jQuery中的常用事件总结
2009/12/27 Javascript
JS声明变量背后的编译原理剖析
2012/12/28 Javascript
终于解决了IE8不支持数组的indexOf方法
2013/04/03 Javascript
JS 精确统计网站访问量的实例代码
2013/07/05 Javascript
Eclipse去除js(JavaScript)验证错误
2014/02/11 Javascript
JavaScript 匿名函数和闭包介绍
2015/04/13 Javascript
Vuejs 页面的区域化与组件封装的实现
2017/09/11 Javascript
vue+socket.io+express+mongodb 实现简易多房间在线群聊示例
2017/10/21 Javascript
基于axios 解决跨域cookie丢失的问题
2018/09/26 Javascript
微信小程序授权登陆及每次检查是否授权实例代码
2019/09/18 Javascript
node.js域名解析实现方法详解
2019/11/05 Javascript
基于PHP pthreads实现多线程代码实例
2020/06/24 Javascript
Vue3新特性之在Composition API中使用CSS Modules
2020/07/13 Javascript
Vue中用JSON实现刷新界面不影响倒计时
2020/10/26 Javascript
解决Vue keep-alive 调用 $destory() 页面不再被缓存的情况
2020/10/30 Javascript
win7安装python生成随机数代码分享
2013/12/27 Python
分析python服务器拒绝服务攻击代码
2014/01/16 Python
Python遍历目录中的所有文件的方法
2016/07/08 Python
Python查看微信撤回消息代码
2018/06/07 Python
Python字典的基本用法实例分析【创建、增加、获取、修改、删除】
2019/03/05 Python
12个步骤教你理解Python装饰器
2019/07/01 Python
Python while循环使用else语句代码实例
2020/02/07 Python
基于logstash实现日志文件同步elasticsearch
2020/08/06 Python
在PyCharm中安装PaddlePaddle的方法
2021/02/05 Python
微软中国官方商城:Microsoft Store中国
2018/10/12 全球购物
Ruby如何实现动态方法调用
2012/11/18 面试题
文明礼仪事迹材料
2014/01/09 职场文书
社区庆中秋节活动方案
2014/02/07 职场文书
党员违纪检讨书怎么写
2014/11/01 职场文书
创业计划书之电动车企业
2019/10/11 职场文书
Python提取PDF指定内容并生成新文件
2021/06/09 Python
DBCA命令行搭建Oracle ADG的流程
2021/06/11 Oracle