python设置检查点简单实现代码


Posted in Python onJuly 01, 2014

说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者socket异常错误。不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。而不是从开始的地方跑。这个问题非常简单。因为这些链接是上下文无关的(上下文有关的情况要另外分析)。所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。代码如下:

# 这个异常是原文本内容中未出现检查点内容出现造成的  
class CheckPointMissContentError: 
  pass 
# 将文件读取指针fd移至到检查点对应的内容处  
# check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入  
# 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。  
def GoCheckPoint(fd,check_point): 
  if not os.path.isfile(check_point): 
    f_check = open(check_point,'w') 
    f_check.close() 
  f_check = open(check_point,'r') 
  lines = f_check.readlines() 
  if len(lines) > 0: 
    check_content = lines[-1] #找到检查点最后一行  
    check_content = check_content.strip(' /n/r') 
    # go to check point  
    while True: 
      content = fd.readline() 
      if content == '': # eof  
        raise CheckPointMissContentError 
      if content.strip(' /n/r') == check_content: 
        break 
         
  f_check.close()#关闭检查点

有了上面一段还是不够的,需要下面的代码补充:

# 伪代码  
def Download(downloadlist,sleep_time): 
   
  if os.path.isfile(downloadlist): 
    f = open(downloadlist) 
    # check_point file name,这里为自动生成一个检查点文件  
    check_point = file[0:file.rfind('.')]+'_check.txt' 
    Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数  
    f_check = open(check_point,'a')# 以追加方式写入  
     
    try: 
      while True: 
        content = f.readline() 
        if content == '': # eof  
          break 
        content = content.strip(' /n/r') 
        if content != '': 
          # has download url  
          time.sleep(sleep_time) 
          DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的  
        # 作为响应的操作后再将内容写入检查点文件  
          f_check.write(content+'/n') 
          f_check.flush() # 必须的,否则会缓存,不会写入硬盘中  
    except : # 蹦个异常也不怕,以后再次按F5执行即可  
      raise Exception() 
      return Util.FAILURE # 这是我设置的常量,大家认为是0或者1就可以了  
    finally: 
      f.close() 
      f_check.close()# 关闭文件  
    print('Downloading is done........................') 
    return Util.SUCCESS

执行完操作之后再写入到检查点文件中。以后程序挂掉,只要检查点文件还在,就可以延续前面的工作。不过这里的检查点相对于数据库中事务处理的检查点还是太简单了点。

Python 相关文章推荐
python dict remove数组删除(del,pop)
Mar 24 Python
详解Python编程中基本的数学计算使用
Feb 04 Python
详解Python中的Descriptor描述符类
Jun 14 Python
在Python中使用AOP实现Redis缓存示例
Jul 11 Python
django admin 后台实现三级联动的示例代码
Jun 22 Python
基于DataFrame改变列类型的方法
Jul 25 Python
python爬取淘宝商品销量信息
Nov 16 Python
Ubuntu下Anaconda和Pycharm配置方法详解
Jun 14 Python
python-opencv获取二值图像轮廓及中心点坐标的代码
Aug 27 Python
pytorch 使用加载训练好的模型做inference
Feb 20 Python
python 判断txt每行内容中是否包含子串并重新写入保存的实例
Mar 12 Python
python对文档中元素删除,替换操作
Apr 02 Python
如何搜索查找并解决Django相关的问题
Jun 30 #Python
python字典多条件排序方法实例
Jun 30 #Python
python实现的解析crontab配置文件代码
Jun 30 #Python
全面解读Python Web开发框架Django
Jun 30 #Python
Python科学计算环境推荐——Anaconda
Jun 30 #Python
9种python web 程序的部署方式小结
Jun 30 #Python
Python开发WebService系列教程之REST,web.py,eurasia,Django
Jun 30 #Python
You might like
珊瑚虫IP库浅析
2007/02/15 PHP
php5.3 废弃函数小结
2010/05/16 PHP
php防注入,表单提交值转义的实现详解
2013/06/10 PHP
PHP 二维数组根据某个字段排序的具体实现
2014/06/03 PHP
thinkphp的dump函数无输出实例代码
2016/11/15 PHP
深入浅析PHP的session反序列化漏洞问题
2017/06/15 PHP
PHP实现动态获取函数参数的方法示例
2018/04/02 PHP
微博@符号的用户名提示效果。(想@到谁?)
2010/11/05 Javascript
javascript算法学习(直接插入排序)
2011/04/12 Javascript
dojo学习第一天 Tab选项卡 实现
2011/08/28 Javascript
nodejs win7下安装方法
2012/05/24 NodeJs
JQuery插件fancybox无法在弹出层使用左右键的解决办法
2013/12/25 Javascript
jquery跨域请求示例分享(jquery发送ajax请求)
2014/03/25 Javascript
深入理解JavaScript的React框架的原理
2015/07/02 Javascript
js+ajax实现获取文件大小的方法
2015/12/08 Javascript
Bootstrap复选框和单选按钮美化插件(推荐)
2016/11/23 Javascript
Three.js利用顶点绘制立方体的方法详解
2017/09/27 Javascript
Angular项目从新建、打包到nginx部署全过程记录
2017/12/09 Javascript
angularJS开发注意事项
2018/05/26 Javascript
Vue数据双向绑定的深入探究
2018/11/27 Javascript
Vue拖拽组件列表实现动态页面配置功能
2019/06/17 Javascript
JavaScript基于面向对象实现的无缝滚动轮播示例
2020/01/17 Javascript
Vue路由的模块自动化与统一加载实现
2020/06/05 Javascript
微信小程序拖拽排序列表的示例代码
2020/07/08 Javascript
详解Numpy中的广播原则/机制
2018/09/20 Python
Python 实现中值滤波、均值滤波的方法
2019/01/09 Python
python读写csv文件实例代码
2019/07/05 Python
python使用 __init__初始化操作简单示例
2019/09/26 Python
tensorflow模型保存、加载之变量重命名实例
2020/01/21 Python
使用Tensorflow实现可视化中间层和卷积层
2020/01/24 Python
PyQt5中QTableWidget如何弹出菜单的示例代码
2020/02/23 Python
中国最大隐形眼镜网上商城:视客眼镜网
2016/10/30 全球购物
英国经典球衣网站:Classic Football Shirts
2017/05/20 全球购物
校三好学生主要事迹
2014/01/11 职场文书
党支部创先争优承诺书
2014/08/30 职场文书
二年级数学教学反思
2016/02/16 职场文书