python 每天如何定时启动爬虫任务(实现方法分享)


Posted in Python onMay 21, 2018

python2.7环境下运行

安装相关模块

想要每天定时启动,最好是把程序放在linux服务器上运行,毕竟linux可以不用关机,即定时任务一直存活;

#coding:utf8
import datetime
import time
def doSth():
 # 把爬虫程序放在这个类里
 print(u'这个程序要开始疯狂的运转啦')
# 一般网站都是1:00点更新数据,所以每天凌晨一点启动
def main(h=1,m=0):
 while True:
  now = datetime.datetime.now()
  # print(now.hour, now.minute)
  if now.hour == h and now.minute == m:
   break
  # 每隔60秒检测一次
  time.sleep(60)
 doSth()
main()

以上这篇python 每天如何定时启动爬虫任务(实现方法分享)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python实现从订阅源下载图片的方法
Mar 11 Python
Python内置模块logging用法实例分析
Feb 12 Python
Python3 实现随机生成一组不重复数并按行写入文件
Apr 09 Python
numpy.std() 计算矩阵标准差的方法
Jul 11 Python
python 将大文件切分为多个小文件的实例
Jan 14 Python
Python Django框架单元测试之文件上传测试示例
May 17 Python
使用python实现unix2dos和dos2unix命令的例子
Aug 13 Python
Python实现投影法分割图像示例(一)
Jan 17 Python
Python常见反爬虫机制解决方案
Jun 01 Python
Python如何输出警告信息
Jul 30 Python
彻底搞懂python 迭代器和生成器
Sep 07 Python
python实现过滤敏感词
May 08 Python
对python抓取需要登录网站数据的方法详解
May 21 #Python
深入浅析python 中的匿名函数
May 21 #Python
python3 selenium 切换窗口的几种方法小结
May 21 #Python
python selenium 对浏览器标签页进行关闭和切换的方法
May 21 #Python
pytorch cnn 识别手写的字实现自建图片数据
May 20 #Python
pytorch 把MNIST数据集转换成图片和txt的方法
May 20 #Python
Python安装lz4-0.10.1遇到的坑
May 20 #Python
You might like
php封装的pdo数据库操作工具类与用法示例
2019/05/08 PHP
Laravel的Auth验证Token验证使用自定义Redis的例子
2019/09/30 PHP
laravel 根据不同组织加载不同视图的实现
2019/10/14 PHP
PHP7创建销毁session的实例方法
2020/02/03 PHP
推荐dojo学习笔记
2007/03/24 Javascript
我见过最全的个人js加解密功能页面
2007/12/12 Javascript
javascript addBookmark 加入收藏 多浏览器兼容
2009/08/15 Javascript
关于firefox的ElementTraversal 接口 使用说明
2010/11/11 Javascript
JS获得QQ号码的昵称,头像,生日的简单实例
2013/12/04 Javascript
javascript通过className来获取元素的简单示例代码
2014/01/10 Javascript
js换图片效果可进行定时操作
2014/06/09 Javascript
jquery ui bootstrap 实现自定义风格
2014/11/14 Javascript
非jQuery实现照片散落桌子上,单击放大的LightBox效果
2014/11/28 Javascript
node.js中的fs.closeSync方法使用说明
2014/12/17 Javascript
Windows系统中安装nodejs图文教程
2015/02/28 NodeJs
jQuery拖拽排序插件制作拖拽排序效果(附源码下载)
2016/02/23 Javascript
关于RequireJS的简单介绍即使用方法
2016/10/20 Javascript
Vue2.0如何发布项目实战
2017/07/27 Javascript
JS中判断字符串存在和非空的方法
2018/09/12 Javascript
vue项目在webpack2实现移动端字体自适配功能
2020/06/02 Javascript
在Windows8上的搭建Python和Django环境
2014/07/03 Python
Python3控制路由器——使用requests重启极路由.py
2016/05/11 Python
tensorflow 加载部分变量的实例讲解
2018/07/27 Python
python os.path模块常用方法实例详解
2018/09/16 Python
如何基于python实现画不同品种的樱花树
2020/01/03 Python
Python 实现平台类游戏添加跳跃功能
2020/03/27 Python
英国轻奢珠宝品牌:Astley Clarke
2016/12/18 全球购物
聊城大学毕业生自荐书
2014/02/01 职场文书
《火烧云》教学反思
2014/04/12 职场文书
欢迎领导检查标语
2014/06/27 职场文书
党员批评与自我批评发言稿
2014/10/14 职场文书
乡镇防汛工作汇报
2014/10/28 职场文书
毕业生评语大全
2015/01/04 职场文书
运动会表扬稿
2015/01/16 职场文书
2019个人工作总结
2019/06/21 职场文书
Nginx报404错误的详细解决方法
2022/07/23 Servers