Python selenium爬虫实现定时任务过程解析


Posted in Python onJune 08, 2020

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,

好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,

是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,这么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自信查阅相关资料深造:

from datetime import datetime
from threading import Timer
import time

# 定时任务
def task():
  print(datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

def timedTask():
  '''
  第一个参数: 延迟多长时间执行任务(秒)
  第二个参数: 要执行的函数
  第三个参数: 调用函数的参数(tuple)
  '''
  Timer(5, task, ()).start()

while True:
  timedTask()
  time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧

2020-06-05 14:06:39
2020-06-05 14:06:44
2020-06-05 14:06:49
2020-06-05 14:06:54
2020-06-05 14:06:59
2020-06-05 14:07:04
2020-06-05 14:07:09
2020-06-05 14:07:14
2020-06-05 14:07:19
2020-06-05 14:07:24

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python有证书的加密解密实现方法
Nov 19 Python
scrapy spider的几种爬取方式实例代码
Jan 25 Python
python中将正则过滤的内容输出写入到文件中的实例
Oct 21 Python
Python函数装饰器实现方法详解
Dec 22 Python
Python流行ORM框架sqlalchemy安装与使用教程
Jun 04 Python
用Python配平化学方程式的方法
Jul 20 Python
Python多线程爬取豆瓣影评API接口
Oct 22 Python
python实现五子棋程序
Apr 24 Python
如何使用python切换hosts文件
Apr 29 Python
python文件排序的方法总结
Sep 13 Python
Django contrib auth authenticate函数源码解析
Nov 12 Python
Python基于Faker假数据构造库
Nov 30 Python
python:HDF和CSV存储优劣对比分析
Jun 08 #Python
Python实现一个简单的毕业生信息管理系统的示例代码
Jun 08 #Python
Python while true实现爬虫定时任务
Jun 08 #Python
python 实现rolling和apply函数的向下取值操作
Jun 08 #Python
基于python计算滚动方差(标准差)talib和pd.rolling函数差异详解
Jun 08 #Python
Python实现查找数据库最接近的数据
Jun 08 #Python
python numpy库np.percentile用法说明
Jun 08 #Python
You might like
虫族 Zerg 热键控制
2020/03/14 星际争霸
PHP下用rmdir实现删除目录的三种方法小结
2008/04/20 PHP
兼容firefox,chrome的网页灰度效果
2011/08/08 PHP
PHP错误Warning: Cannot modify header information - headers already sent by解决方法
2014/09/27 PHP
PHP file_get_contents函数读取远程数据超时的解决方法
2015/05/13 PHP
CI框架数据库查询之join用法分析
2016/05/18 PHP
PHP读书笔记_运算符详解
2016/07/01 PHP
php中preg_replace_callback函数简单用法示例
2016/07/21 PHP
php设计模式之工厂模式用法经典实例分析
2019/09/20 PHP
图片上传即时显示缩略图的js代码
2009/05/27 Javascript
封装好的js判断操作系统与浏览器代码分享
2015/01/09 Javascript
实现无刷新联动例子汇总
2015/05/20 Javascript
阻止表单提交按钮多次提交的完美解决方法
2016/05/16 Javascript
微信小程序商城项目之淘宝分类入口(2)
2017/04/17 Javascript
原生JS+Canvas实现五子棋游戏实例
2017/06/19 Javascript
Vue中在新窗口打开页面及Vue-router的使用
2018/06/13 Javascript
优雅地使用loading(推荐)
2019/04/20 Javascript
vue遍历对象中的数组取值示例
2019/11/07 Javascript
[45:32]Liquid vs LGD 2018国际邀请赛淘汰赛BO3 第二场 8.23
2018/08/24 DOTA
Python中的变量和作用域详解
2016/07/13 Python
Python 中迭代器与生成器实例详解
2017/03/29 Python
python-tkinter之按钮的使用,开关方法
2019/06/11 Python
WxPython实现无边框界面
2019/11/18 Python
Python高并发解决方案实现过程详解
2020/07/31 Python
Python urllib request模块发送请求实现过程解析
2020/12/10 Python
html5与css3小应用
2013/04/03 HTML / CSS
Java基础面试题
2012/11/02 面试题
总经理助理的职责
2014/03/14 职场文书
入党积极分子自我鉴定范文
2014/03/25 职场文书
干部四风问题整改措施思想汇报
2014/10/13 职场文书
2014幼儿园卫生保健工作总结
2014/12/05 职场文书
培训后的感想
2015/08/07 职场文书
Nginx 502 Bad Gateway错误原因及解决方案
2021/03/31 Servers
一看就懂的MySQL的聚簇索引及聚簇索引是如何长高的
2021/05/25 MySQL
2021年国漫热度排行前十,完美世界上榜,第四是美国动画作品
2022/03/18 国漫
win11无线投屏在哪设置? win11无线投屏功能的使用方法
2022/04/08 数码科技