python 每天如何定时启动爬虫任务(实现方法分享)


Posted in Python onMay 21, 2018

python2.7环境下运行

安装相关模块

想要每天定时启动,最好是把程序放在linux服务器上运行,毕竟linux可以不用关机,即定时任务一直存活;

#coding:utf8
import datetime
import time
def doSth():
 # 把爬虫程序放在这个类里
 print(u'这个程序要开始疯狂的运转啦')
# 一般网站都是1:00点更新数据,所以每天凌晨一点启动
def main(h=1,m=0):
 while True:
  now = datetime.datetime.now()
  # print(now.hour, now.minute)
  if now.hour == h and now.minute == m:
   break
  # 每隔60秒检测一次
  time.sleep(60)
 doSth()
main()

以上这篇python 每天如何定时启动爬虫任务(实现方法分享)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Flask数据库迁移简单介绍
Oct 24 Python
python实现微信跳一跳辅助工具步骤详解
Jan 04 Python
django rest framework 数据的查找、过滤、排序的示例
Jun 25 Python
在Python中使用defaultdict初始化字典以及应用方法
Oct 31 Python
记一次python 内存泄漏问题及解决过程
Nov 29 Python
Python面向对象程序设计中类的定义、实例化、封装及私有变量/方法详解
Feb 28 Python
Pandas 重塑(stack)和轴向旋转(pivot)的实现
Jul 22 Python
Pycharm创建项目时如何自动添加头部信息
Nov 14 Python
Scrapy项目实战之爬取某社区用户详情
Sep 17 Python
python Matplotlib数据可视化(1):简单入门
Sep 30 Python
Pytorch1.5.1版本安装的方法步骤
Dec 31 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 Python
对python抓取需要登录网站数据的方法详解
May 21 #Python
深入浅析python 中的匿名函数
May 21 #Python
python3 selenium 切换窗口的几种方法小结
May 21 #Python
python selenium 对浏览器标签页进行关闭和切换的方法
May 21 #Python
pytorch cnn 识别手写的字实现自建图片数据
May 20 #Python
pytorch 把MNIST数据集转换成图片和txt的方法
May 20 #Python
Python安装lz4-0.10.1遇到的坑
May 20 #Python
You might like
在同一窗体中使用PHP来处理多个提交任务
2006/10/09 PHP
php中函数的形参与实参的问题说明
2010/09/01 PHP
php验证手机号码
2015/11/11 PHP
PHP7匿名类用法分析
2016/09/26 PHP
php array_map使用自定义的函数处理数组中的每个值
2016/10/26 PHP
5 cool javascript apps
2007/03/24 Javascript
JavaScript 事件属性绑定带参数的函数
2009/03/13 Javascript
JavaScript中使用构造器创建对象无需new的情况说明
2012/03/01 Javascript
基于jquery库的tab新形式使用
2012/11/16 Javascript
javascript获取隐藏元素(display:none)的高度和宽度的方法
2014/06/06 Javascript
js实现select跳转功能代码
2014/10/22 Javascript
纯HTML5制作围住神经猫游戏-附源码下载
2015/08/23 Javascript
node.js插件nodeclipse安装图文教程
2020/10/19 Javascript
jQuery插件fullPage.js实现全屏滚动效果
2016/12/02 Javascript
js实现hashtable的赋值、取值、遍历操作实例详解
2016/12/25 Javascript
JS异步文件分片断点上传的实现思路
2016/12/25 Javascript
jQuery Chosen通用初始化
2017/03/07 Javascript
javascript使用btoa和atob来进行Base64转码和解码
2017/03/20 Javascript
js获取一组日期中最近连续的天数
2017/05/25 Javascript
vue音乐播放器插件vue-aplayer的配置及其使用实例详解
2017/07/10 Javascript
vue3.0实现插件封装
2020/12/14 Vue.js
Vue中避免滥用this去读取data中数据
2021/03/02 Vue.js
分享一个常用的Python模拟登陆类
2015/03/29 Python
windows下python安装小白入门教程
2018/09/18 Python
Python分割训练集和测试集的方法示例
2019/09/19 Python
pycharm安装及如何导入numpy
2020/04/03 Python
将pycharm配置为matlab或者spyder的用法说明
2020/06/08 Python
印度购物网站:TATA CLiQ
2017/11/23 全球购物
幼儿园评语大全
2014/04/17 职场文书
活动总结怎么写
2014/04/28 职场文书
高职教师先进事迹材料
2014/08/24 职场文书
2014年乡镇安全生产工作总结
2014/12/02 职场文书
学生会辞职信
2015/03/02 职场文书
2016年“9.22”世界无车日活动小结
2016/04/05 职场文书
基于Golang 高并发问题的解决方案
2021/05/08 Golang
Android Flutter实现图片滑动切换效果
2022/04/07 Java/Android