Python爬虫定时计划任务的几种常见方法(推荐)


Posted in Python onJanuary 15, 2021

记得以前的Windows任务定时是可以正常使用的,今天试了下,发现不能正常使用了,任务计划总是挂起。接下来记录下Python爬虫定时任务的几种解决方法。

1.方法一、while True

首先最容易的是while true死循环挂起,不废话,直接上代码:

import os 
import time 
import sys 
from datetime import datetime, timedelta 
def One_Plan(): 
  # 设置启动周期 
  Second_update_time = 24 * 60 * 60 
 # 当前时间 
 now_Time = datetime.now() 
 # 设置 任务启动时间 
 plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) 
 # 设置差值,-1 day, 21:48:53.246576,类似于这样 
 # time.sleep()需要传入int,所以下面使用.total_seconds() 
 # 主要用来计算差值,返回int,具体功能可以自行查阅相关资料 
 delta = plan_Time - now_Time 
 first_plan_Time = delta.total_seconds() % Second_update_time 
 print("距离第一次执行需要睡眠%d秒" % first_plan_Time) 
 return first_plan_Time 
# while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行 
while True: 
 s1 = One_Plan() 
 time.sleep(s1) 
 # 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下 
 exe_file(D_list) 
 print("正在执行首次更新程序")

个人感觉使用这种方式进行定时计划的启动如果为单个程序,并且一天执行一次的话没什么问题,如果要考虑到一天执行多个任务并且一天需要执行多次,短板一下就凸显出来了。

在工作的情况中还需要考虑到很多因素,比如爬虫程序需要在晚上12点和早上6点、9点,下午3点执行四次,并且需要同时执行4个爬虫,还需要考虑到网络是否稳定,如果程序挂掉该怎么处理等等因素。

2.方法二、Timer模块

之前说了最简单的定时启动,可以说是最简单粗暴的,人生苦短,python优雅,有没有那种很简单很简单,几行代码就可以搞定的那种?必须有的哈!简单举个例子说一下,上一个方法的末尾提到过需要考虑到其他因素,这就来了:

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,怎么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自行查阅相关资料深造:

from datetime import datetime 
from threading import Timer 
import time 
# 定时任务 
def task(): 
 print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) 
def timedTask(): 
 ''' 
 第一个参数: 延迟多长时间执行任务(秒) 
 第二个参数: 要执行的函数 
 第三个参数: 调用函数的参数(tuple) 
 ''' 
 Timer(5, task, ()).start() 
while True: 
 timedTask() 
 time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧。

2020-06-05 14:06:39 
2020-06-05 14:06:44 
2020-06-05 14:06:49 
2020-06-05 14:06:54 
2020-06-05 14:06:59 
2020-06-05 14:07:04 
2020-06-05 14:07:09 
2020-06-05 14:07:14 
2020-06-05 14:07:19 
2020-06-05 14:07:24

3. 方法三、sched模块

这次直接上模块——sched模块

代码如下:

from datetime import datetime 
import sched 
import time 
def timedTask(): 
 # 初始化 sched 模块的 scheduler 类,传入(time.time, time.sleep)这两个参数 
 schedscheduler = sched.scheduler(time.time, time.sleep) 
 # 增加调度任务,enter(睡眠时间,执行级别,执行函数) 
 scheduler.enter(5, 1, task) 
 # 运行任务 
 scheduler.run() 
# 定时任务 
def task(): 
 print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) 
if __name__ == '__main__': 
 timedTask()

这个模块也很容易上手,需要注意,scheduler()只会执行一次就结束程序,可以在mian下面添加while Ture或者直接添加调度任务在timeTask中就可以,另外除了这样的写法外,还有另外一种写法,上代码:

import schedule 
import time 
def hellow(): 
 print('hellow') 
def Timer(): 
 schedule.every().day.at("09:00").do(hellow) 
 schedule.every().day.at("18:00").do(hellow) 
 while True: 
  schedule.run_pending() 
  time.sleep('需要睡眠的周期') 
Timer()

Python爬虫定时计划任务的几种常见方法(推荐)

在这里可以看到,有day-hour-minute,定时任务非常的方便,在while True里添加需要睡眠的时间,在函数模块内添加需要执行的次数即可。

到此这篇关于Python爬虫定时计划任务的几种常见方法的文章就介绍到这了,更多相关Python爬虫定时计划任务内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
在python中使用正则表达式查找可嵌套字符串组
Oct 24 Python
基于Django用户认证系统详解
Feb 21 Python
python3 中文乱码与默认编码格式设定方法
Oct 31 Python
Python3.6+Django2.0以上 xadmin站点的配置和使用教程图解
Jun 04 Python
pyqt 实现QlineEdit 输入密码显示成圆点的方法
Jun 24 Python
pytorch打印网络结构的实例
Aug 19 Python
python基础 range的用法解析
Aug 23 Python
Python中包的用法及安装
Feb 11 Python
Python3 ID3决策树判断申请贷款是否成功的实现代码
May 21 Python
python request 模块详细介绍
Nov 10 Python
python 下载文件的多种方法汇总
Nov 17 Python
python 动态渲染 mysql 配置文件的示例
Nov 20 Python
python 如何把docker-compose.yaml导入到数据库相关条目里
Jan 15 #Python
pandas针对excel处理的实现
Jan 15 #Python
详解Python中的文件操作
Jan 14 #Python
python中的时区问题
Jan 14 #Python
Python截图并保存的具体实例
Jan 14 #Python
Python从MySQL数据库中面抽取试题,生成试卷
Jan 14 #Python
DRF使用simple JWT身份验证的实现
Jan 14 #Python
You might like
用PHP为SHOPEX增加日志功能代码
2010/07/02 PHP
php中用数组的方法设置cookies
2011/04/21 PHP
基于python发送邮件的乱码问题的解决办法
2013/04/25 PHP
PHP中使用循环实现的金字塔图形
2014/11/08 PHP
PHP快速生成各种信息提示框的方法
2016/02/03 PHP
PHP使用file_get_contents发送http请求功能简单示例
2018/04/29 PHP
javascript学习笔记(四) Number 数字类型
2012/06/19 Javascript
Javascript拓展String方法小结
2013/07/08 Javascript
如何书写高质量jQuery代码(使用jquery性能问题)
2014/06/30 Javascript
使用text方法获取Html元素文本信息示例
2014/09/01 Javascript
JavaScript DOM进阶方法
2015/04/13 Javascript
客户端验证用户名和密码的方法详解
2016/06/16 Javascript
深入浅出 jQuery中的事件机制
2016/08/23 Javascript
javascript实现一个网页加载进度loading
2017/01/04 Javascript
js 将input框中的输入自动转化成半角大写(税号输入框)
2017/02/16 Javascript
深入理解vue路由的使用
2017/03/24 Javascript
layer弹出层倒计时关闭的实现方法
2019/09/27 Javascript
JavaScript实现鼠标移入随机变换颜色
2020/11/24 Javascript
Python Web开发模板引擎优缺点总结
2014/05/06 Python
python基于BeautifulSoup实现抓取网页指定内容的方法
2015/07/09 Python
使用Fabric自动化部署Django项目的实现
2019/09/27 Python
python selenium自动化测试框架搭建的方法步骤
2020/06/14 Python
解决python父线程关闭后子线程不关闭问题
2020/04/25 Python
CSS中越界问题的经典解决方案【推荐】
2016/04/19 HTML / CSS
卡骆驰英国官网:Crocs英国
2019/08/22 全球购物
说出你对remoting 和webservice的理解和应用
2014/06/08 面试题
J2EE中常用的名词进行解释
2015/11/09 面试题
党员年终民主评议的自我评价
2013/11/05 职场文书
理发店策划方案
2014/06/05 职场文书
初中班级口号
2014/06/09 职场文书
故宫英文导游词
2015/01/31 职场文书
运动会表扬稿范文
2015/05/05 职场文书
一文带你理解vue创建一个后台管理系统流程(Vue+Element)
2021/05/18 Vue.js
详解Go语言运用广度优先搜索走迷宫
2021/06/23 Python
PostgreSQL基于pgrouting的路径规划处理方法
2022/04/18 PostgreSQL
Mybatis-plus配置分页插件返回统一结果集
2022/06/21 Java/Android