Python selenium爬虫实现定时任务过程解析


Posted in Python onJune 08, 2020

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,

好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,

是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,这么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自信查阅相关资料深造:

from datetime import datetime
from threading import Timer
import time

# 定时任务
def task():
  print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():
  '''
  第一个参数: 延迟多长时间执行任务(秒)
  第二个参数: 要执行的函数
  第三个参数: 调用函数的参数(tuple)
  '''
  Timer(5, task, ()).start()

while True:
  timedTask()
  time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧

2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
json跨域调用python的方法详解
Jan 11 Python
python Pygame的具体使用讲解
Nov 03 Python
基于python神经卷积网络的人脸识别
May 24 Python
Python模拟登录的多种方法(四种)
Jun 01 Python
利用Django-environ如何区分不同环境
Aug 26 Python
Django组件之cookie与session的使用方法
Jan 10 Python
PyQt5多线程刷新界面防假死示例
Dec 13 Python
Tensorflow限制CPU个数实例
Feb 06 Python
keras自定义回调函数查看训练的loss和accuracy方式
May 23 Python
python读取hdfs并返回dataframe教程
Jun 05 Python
Python configparser模块封装及构造配置文件
Aug 07 Python
python使用布隆过滤器的实现示例
Aug 20 Python
python:HDF和CSV存储优劣对比分析
Jun 08 #Python
Python实现一个简单的毕业生信息管理系统的示例代码
Jun 08 #Python
Python while true实现爬虫定时任务
Jun 08 #Python
python 实现rolling和apply函数的向下取值操作
Jun 08 #Python
基于python计算滚动方差(标准差)talib和pd.rolling函数差异详解
Jun 08 #Python
Python实现查找数据库最接近的数据
Jun 08 #Python
python numpy库np.percentile用法说明
Jun 08 #Python
You might like
探讨file_get_contents与curl效率及稳定性的分析
2013/06/06 PHP
解决ajax+php中文乱码的方法详解
2013/06/09 PHP
php采用curl访问域名返回405 method not allowed提示的解决方法
2014/06/26 PHP
仿微博字符限制效果实现代码
2012/04/20 Javascript
js 3秒后跳转页面的实现代码
2014/03/10 Javascript
JS实现浏览器状态栏文字闪烁效果的方法
2015/10/27 Javascript
JS实现简单的tab切换选项卡效果
2016/09/21 Javascript
JavaScript模仿Pinterest实现图片预加载功能
2016/10/25 Javascript
vue-router 学习快速入门
2017/03/01 Javascript
基于 webpack2 实现的多入口项目脚手架详解
2017/06/26 Javascript
vue数据控制视图源码解析
2018/03/28 Javascript
vue form 表单提交后刷新页面的方法
2018/09/04 Javascript
微信公众号获取用户地理位置并列出附近的门店的示例代码
2019/07/25 Javascript
微信小程序制作扭蛋机代码实例
2019/09/24 Javascript
python实现bitmap数据结构详解
2014/02/17 Python
Python中常见的数据类型小结
2015/08/29 Python
在windows下快速搭建web.py开发框架方法
2016/04/22 Python
利用Python中的pandas库对cdn日志进行分析详解
2017/03/07 Python
python3使用matplotlib绘制散点图
2019/03/19 Python
python mysql断开重连的实现方法
2019/07/26 Python
Python求平面内点到直线距离的实现
2020/01/19 Python
让Django的BooleanField支持字符串形式的输入方式
2020/05/20 Python
什么是Python包的循环导入
2020/09/08 Python
浅析python 通⽤爬⾍和聚焦爬⾍
2020/09/28 Python
Django vue前后端分离整合过程解析
2020/11/20 Python
Ego Shoes官网:英国时髦鞋类品牌
2020/10/19 全球购物
2014年应届大学生自我评价
2014/01/09 职场文书
档案接收函
2014/01/13 职场文书
2014年十一国庆节爱国演讲稿
2014/09/23 职场文书
委托证明范本
2014/11/25 职场文书
事业单位考察材料范文
2014/12/25 职场文书
自我推荐信怎么写
2015/03/24 职场文书
钢琴师观后感
2015/06/12 职场文书
办公室规章制度范本
2015/08/04 职场文书
新学期家长寄语2016
2015/12/03 职场文书
美元符号 $
2022/02/17 杂记