Python selenium爬虫实现定时任务过程解析


Posted in Python onJune 08, 2020

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,

好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,

是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,这么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自信查阅相关资料深造:

from datetime import datetime
from threading import Timer
import time

# 定时任务
def task():
  print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():
  '''
  第一个参数: 延迟多长时间执行任务(秒)
  第二个参数: 要执行的函数
  第三个参数: 调用函数的参数(tuple)
  '''
  Timer(5, task, ()).start()

while True:
  timedTask()
  time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧

2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python脚本实现分析dns日志并对受访域名排行
Sep 18 Python
Python中集合类型(set)学习小结
Jan 28 Python
基于scrapy实现的简单蜘蛛采集程序
Apr 17 Python
python 默认参数问题的陷阱
Feb 29 Python
浅析Python 3 字符串中的 STR 和 Bytes 有什么区别
Oct 14 Python
在Python文件中指定Python解释器的方法
Feb 18 Python
在python里协程使用同步锁Lock的实例
Feb 19 Python
Pandas之ReIndex重新索引的实现
Jun 25 Python
Python3之不使用第三方变量,实现交换两个变量的值
Jun 26 Python
Python中用pyinstaller打包时的图标问题及解决方法
Feb 17 Python
Pycharm导入anaconda环境的教程图解
Jul 31 Python
Python实现像awk一样分割字符串
Sep 15 Python
python:HDF和CSV存储优劣对比分析
Jun 08 #Python
Python实现一个简单的毕业生信息管理系统的示例代码
Jun 08 #Python
Python while true实现爬虫定时任务
Jun 08 #Python
python 实现rolling和apply函数的向下取值操作
Jun 08 #Python
基于python计算滚动方差(标准差)talib和pd.rolling函数差异详解
Jun 08 #Python
Python实现查找数据库最接近的数据
Jun 08 #Python
python numpy库np.percentile用法说明
Jun 08 #Python
You might like
第十二节 类的自动加载 [12]
2006/10/09 PHP
apache2.2.4+mysql5.0.77+php5.2.8安装精简
2009/04/29 PHP
Fatal error: session_start(): Failed to initialize storage module: files问题解决方法
2014/05/04 PHP
PHP日期函数date格式化UNIX时间的方法
2015/03/19 PHP
微信开发之php表单微信中自动提交两次问题解决办法
2017/01/08 PHP
PHP后台微信支付和支付宝支付开发
2017/04/28 PHP
js验证表单第二部分
2006/11/25 Javascript
javascript完美拖拽的实现方法
2013/09/29 Javascript
JavaScript实现经典排序算法之选择排序
2016/12/28 Javascript
BootStrap表单验证 FormValidation 调整反馈图标位置的实例代码
2017/05/17 Javascript
JavaScript满天星导航栏实现方法
2018/03/08 Javascript
Vue + better-scroll 实现移动端字母索引导航功能
2018/05/07 Javascript
基于vue实现可搜索下拉框定制组件
2020/03/26 Javascript
ES6基础之默认参数值
2019/02/21 Javascript
[44:43]完美世界DOTA2联赛决赛日 FTD vs GXR 第一场 11.08
2020/11/11 DOTA
python自动翻译实现方法
2016/05/28 Python
Python编码类型转换方法详解
2016/07/01 Python
Python抓取框架Scrapy爬虫入门:页面提取
2017/12/01 Python
利用Python写一个爬妹子的爬虫
2018/06/08 Python
Django 框架模型操作入门教程
2019/11/05 Python
python入门之基础语法学习笔记
2020/02/08 Python
Python如何访问字符串中的值
2020/02/09 Python
基于python实现检索标记敏感词并输出
2020/05/07 Python
css3之UI元素状态伪类选择器实例演示
2017/08/11 HTML / CSS
CSS超出文本指定宽度用省略号代替和文本不换行
2016/05/05 HTML / CSS
中国综合网上购物商城:苏宁易购
2016/08/09 全球购物
Mixbook加拿大:照片书,照片卡,剪贴簿,年历和日历
2017/02/21 全球购物
异常和异常类的概念
2014/09/12 面试题
网络教育自我鉴定
2013/11/01 职场文书
北体毕业生求职信
2014/02/28 职场文书
数控专业毕业生求职信
2014/06/12 职场文书
中国梦读书活动总结
2014/07/10 职场文书
英语感谢信范文
2015/01/20 职场文书
2015年教师业务工作总结
2015/05/26 职场文书
2015小学新教师个人工作总结
2015/10/14 职场文书
sentinel支持的redis高可用集群配置详解
2022/04/01 Redis