Python爬虫定时计划任务的几种常见方法(推荐)


Posted in Python onJanuary 15, 2021

记得以前的Windows任务定时是可以正常使用的,今天试了下,发现不能正常使用了,任务计划总是挂起。接下来记录下Python爬虫定时任务的几种解决方法。

1.方法一、while True

首先最容易的是while true死循环挂起,不废话,直接上代码:

import os 
import time 
import sys 
from datetime import datetime, timedelta 
def One_Plan(): 
  # 设置启动周期 
  Second_update_time = 24 * 60 * 60 
 # 当前时间 
 now_Time = datetime.now() 
 # 设置 任务启动时间 
 plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) 
 # 设置差值,-1 day, 21:48:53.246576,类似于这样 
 # time.sleep()需要传入int,所以下面使用.total_seconds() 
 # 主要用来计算差值,返回int,具体功能可以自行查阅相关资料 
 delta = plan_Time - now_Time 
 first_plan_Time = delta.total_seconds() % Second_update_time 
 print("距离第一次执行需要睡眠%d秒" % first_plan_Time) 
 return first_plan_Time 
# while Ture代码块,挂起程序,睡眠时间结束后调用函数名进行执行 
while True: 
 s1 = One_Plan() 
 time.sleep(s1) 
 # 下面这里是自己定义的函数,想跑代码的可以换成hellow world函数或者注释掉这行测试下 
 exe_file(D_list) 
 print("正在执行首次更新程序")

个人感觉使用这种方式进行定时计划的启动如果为单个程序,并且一天执行一次的话没什么问题,如果要考虑到一天执行多个任务并且一天需要执行多次,短板一下就凸显出来了。

在工作的情况中还需要考虑到很多因素,比如爬虫程序需要在晚上12点和早上6点、9点,下午3点执行四次,并且需要同时执行4个爬虫,还需要考虑到网络是否稳定,如果程序挂掉该怎么处理等等因素。

2.方法二、Timer模块

之前说了最简单的定时启动,可以说是最简单粗暴的,人生苦短,python优雅,有没有那种很简单很简单,几行代码就可以搞定的那种?必须有的哈!简单举个例子说一下,上一个方法的末尾提到过需要考虑到其他因素,这就来了:

现在需要启动一个selenium的爬虫,使用火狐驱动+多线程,大家都明白的,现在电脑管家显示CPU占用率20%,启动selenium后不停的开启浏览器+多线程,好,没过5分钟,CPU占用率直接拉到90%+,电脑卡到飞起,定时程序虽然还在运行,但是已经类似于待机状态,是不是突然感觉到面对电脑卡死,第一反应:卧槽,这个lj电脑,怎么程序都跑不起来,我还写这么多代码,*****!!

是吧,接下来上代码,具体功能,请自行查阅相关资料深造:

from datetime import datetime 
from threading import Timer 
import time 
# 定时任务 
def task(): 
 print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) 
def timedTask(): 
 ''' 
 第一个参数: 延迟多长时间执行任务(秒) 
 第二个参数: 要执行的函数 
 第三个参数: 调用函数的参数(tuple) 
 ''' 
 Timer(5, task, ()).start() 
while True: 
 timedTask() 
 time.sleep(5)

7行代码,是不是很优雅?优不优雅的主要是代码少,不费劲对吧。

2020-06-05 14:06:39 
2020-06-05 14:06:44 
2020-06-05 14:06:49 
2020-06-05 14:06:54 
2020-06-05 14:06:59 
2020-06-05 14:07:04 
2020-06-05 14:07:09 
2020-06-05 14:07:14 
2020-06-05 14:07:19 
2020-06-05 14:07:24

3. 方法三、sched模块

这次直接上模块——sched模块

代码如下:

from datetime import datetime 
import sched 
import time 
def timedTask(): 
 # 初始化 sched 模块的 scheduler 类,传入(time.time, time.sleep)这两个参数 
 schedscheduler = sched.scheduler(time.time, time.sleep) 
 # 增加调度任务,enter(睡眠时间,执行级别,执行函数) 
 scheduler.enter(5, 1, task) 
 # 运行任务 
 scheduler.run() 
# 定时任务 
def task(): 
 print(datetime.now().strftime("%Y-%m-%d %H:%M:%S")) 
if __name__ == '__main__': 
 timedTask()

这个模块也很容易上手,需要注意,scheduler()只会执行一次就结束程序,可以在mian下面添加while Ture或者直接添加调度任务在timeTask中就可以,另外除了这样的写法外,还有另外一种写法,上代码:

import schedule 
import time 
def hellow(): 
 print('hellow') 
def Timer(): 
 schedule.every().day.at("09:00").do(hellow) 
 schedule.every().day.at("18:00").do(hellow) 
 while True: 
  schedule.run_pending() 
  time.sleep('需要睡眠的周期') 
Timer()

Python爬虫定时计划任务的几种常见方法(推荐)

在这里可以看到,有day-hour-minute,定时任务非常的方便,在while True里添加需要睡眠的时间,在函数模块内添加需要执行的次数即可。

到此这篇关于Python爬虫定时计划任务的几种常见方法的文章就介绍到这了,更多相关Python爬虫定时计划任务内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
跟老齐学Python之模块的加载
Oct 24 Python
Python实现对PPT文件进行截图操作的方法
Apr 28 Python
Python中如何获取类属性的列表
Dec 26 Python
78行Python代码实现现微信撤回消息功能
Jul 26 Python
python训练数据时打乱训练数据与标签的两种方法小结
Nov 08 Python
浅谈Python大神都是这样处理XML文件的
May 31 Python
python多进程并行代码实例
Sep 30 Python
Window版下在Jupyter中编写TensorFlow的环境搭建
Apr 10 Python
Django中的模型类设计及展示示例详解
May 29 Python
Python实现扫码工具的示例代码
Oct 09 Python
Python中的min及返回最小值索引的操作
May 10 Python
Python OpenCV 图像平移的实现示例
Jun 04 Python
python 如何把docker-compose.yaml导入到数据库相关条目里
Jan 15 #Python
pandas针对excel处理的实现
Jan 15 #Python
详解Python中的文件操作
Jan 14 #Python
python中的时区问题
Jan 14 #Python
Python截图并保存的具体实例
Jan 14 #Python
Python从MySQL数据库中面抽取试题,生成试卷
Jan 14 #Python
DRF使用simple JWT身份验证的实现
Jan 14 #Python
You might like
2019十大人气国漫
2020/03/13 国漫
php解决约瑟夫环示例
2014/04/09 PHP
PHP 面向对象程序设计(oop)学习笔记 (二) - 静态变量的属性和方法及延迟绑定
2014/06/12 PHP
php使用高斯算法实现图片的模糊处理功能示例
2016/11/11 PHP
PHP反射机制原理与用法详解
2017/02/15 PHP
PHP实现的ID混淆算法类与用法示例
2018/08/10 PHP
javascript 文件的同步加载与异步加载实现原理
2012/12/13 Javascript
js借助ActiveXObject实现创建文件
2013/09/29 Javascript
js和html5实现手机端刮刮卡抽奖效果完美兼容android/IOS
2013/11/18 Javascript
Jquery解析json数据详解
2013/12/26 Javascript
基于javascript bootstrap实现生日日期联动选择
2016/04/07 Javascript
javascript实现简单的ajax封装示例
2016/12/28 Javascript
微信小程序实现图片自适应(支持多图)
2017/01/25 Javascript
node.js express中app.param的用法详解
2017/07/16 Javascript
浅谈事件冒泡、事件委托、jQuery元素节点操作、滚轮事件与函数节流
2017/07/22 jQuery
使用JS中的Replace()方法遇到的问题小结
2017/10/20 Javascript
基于vue2实现上拉加载功能
2017/11/28 Javascript
JavaScript实现数值自动增加动画
2017/12/28 Javascript
使用Vue.js和Element-UI做一个简单登录页面的实例
2018/02/23 Javascript
微信小程序顶部导航栏可滑动并选中放大
2019/12/05 Javascript
Vue的v-model的几种修饰符.lazy,.number和.trim的用法说明
2020/08/05 Javascript
vuejs实现下拉框菜单选择
2020/10/23 Javascript
python批量提交沙箱问题实例
2014/10/08 Python
解决python3 网络请求路径包含中文的问题
2018/05/10 Python
Django + Uwsgi + Nginx 实现生产环境部署的方法
2018/06/20 Python
树莓派用python中的OpenCV输出USB摄像头画面
2019/06/22 Python
40个你可能不知道的Python技巧附代码
2020/01/29 Python
python datetime时间格式的相互转换问题
2020/06/11 Python
解决django migrate报错ORA-02000: missing ALWAYS keyword
2020/07/02 Python
《爱的教育》读书心得
2014/11/08 职场文书
2015年信息技术教研组工作总结
2015/07/22 职场文书
《搭石》教学反思
2016/02/18 职场文书
导游词之秦皇岛燕塞湖
2020/01/03 职场文书
Golang二维切片初始化的实现
2021/04/08 Golang
Python爬取用户观影数据并分析用户与电影之间的隐藏信息!
2021/06/29 Python
Win11控制面板快捷键是什么?Win11打开控制面板的方法汇总
2022/07/07 数码科技