shelve  用来持久化任意的Python对象实例代码


Posted in Python onOctober 12, 2016

shelve -- 用来持久化任意的Python对象

这几天接触了Python中的shelve这个module,感觉比pickle用起来更简单一些,它也是一个用来持久化Python对象的简单工具。当我们写程序的时候如果不想用关系数据库那么重量级的东东去存储数据,不妨可以试试用shelve。shelf也是用key来访问的,使用起来和字典类似。shelve其实用anydbm去创建DB并且管理持久化对象的。

 创建一个新的shelf

直接使用shelve.open()就可以创建了

import shelve

s = shelve.open('test_shelf.db')
try:
  s['key1'] = { 'int': 10, 'float':9.5, 'string':'Sample data' }
finally:
  s.close()

如果想要再次访问这个shelf,只需要再次shelve.open()就可以了,然后我们可以像使用字典一样来使用这个shelf

import shelve

s = shelve.open('test_shelf.db')
try:
  existing = s['key1']
finally:
  s.close()

print existing

当我们运行以上两个py,我们将得到如下输出:

$ python shelve_create.py
$ python shelve_existing.py

{'int': 10, 'float': 9.5, 'string': 'Sample data'}

dbm这个模块有个限制,它不支持多个应用同一时间往同一个DB进行写操作。所以当我们知道我们的应用如果只进行读操作,我们可以让shelve通过只读方式打开DB:

import shelve

s = shelve.open('test_shelf.db', flag='r')
try:
  existing = s['key1']
finally:
  s.close()

print existing

当我们的程序试图去修改一个以只读方式打开的DB时,将会抛一个访问错误的异常。异常的具体类型取决于anydbm这个模块在创建DB时所选用的DB。

写回(Write-back)

由于shelve在默认情况下是不会记录待持久化对象的任何修改的,所以我们在shelve.open()时候需要修改默认参数,否则对象的修改不会保存。

import shelve

s = shelve.open('test_shelf.db')
try:
  print s['key1']
  s['key1']['new_value'] = 'this was not here before'
finally:
  s.close()

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
finally:
  s.close()

上面这个例子中,由于一开始我们使用了缺省参数shelve.open()了,因此第6行修改的值即使我们s.close()也不会被保存。

执行结果如下:

$ python shelve_create.py
$ python shelve_withoutwriteback.py

{'int': 10, 'float': 9.5, 'string': 'Sample data'}
{'int': 10, 'float': 9.5, 'string': 'Sample data'}

所以当我们试图让shelve去自动捕获对象的变化,我们应该在打开shelf的时候将writeback设置为True。当我们将writeback这个flag设置为True以后,shelf将会将所有从DB中读取的对象存放到一个内存缓存。当我们close()打开的shelf的时候,缓存中所有的对象会被重新写入DB。

import shelve

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
  s['key1']['new_value'] = 'this was not here before'
  print s['key1']
finally:
  s.close()

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
finally:
  s.close()

writeback方式有优点也有缺点。优点是减少了我们出错的概率,并且让对象的持久化对用户更加的透明了;但这种方式并不是所有的情况下都需要,首先,使用writeback以后,shelf在open()的时候会增加额外的内存消耗,并且当DB在close()的时候会将缓存中的每一个对象都写入到DB,这也会带来额外的等待时间。因为shelve没有办法知道缓存中哪些对象修改了,哪些对象没有修改,因此所有的对象都会被写入。

$ python shelve_create.py
$ python shelve_writeback.py
 
{'int': 10, 'float': 9.5, 'string': 'Sample data'}
{'int': 10, 'new_value': 'this was not here before', 'float': 9.5, 'string': 'Sample data'}
 {'int': 10, 'new_value': 'this was not here before', 'float': 9.5, 'string': 'Sample data'}

最后再来个复杂一点的例子:

#!/bin/env python

import time
import datetime
import md5
import shelve

LOGIN_TIME_OUT = 60
db = shelve.open('user_shelve.db', writeback=True)

def newuser():
  global db
  prompt = "login desired: "
  while True:
    name = raw_input(prompt)
    if name in db:
      prompt = "name taken, try another: "
      continue
    elif len(name) == 0:
      prompt = "name should not be empty, try another: "
      continue
    else:
      break
  pwd = raw_input("password: ")
  db[name] = {"password": md5_digest(pwd), "last_login_time": time.time()}
  #print '-->', db

def olduser():
  global db
  name = raw_input("login: ")
  pwd = raw_input("password: ")
  try:
    password = db.get(name).get('password')
  except AttributeError, e:
    print "\033[1;31;40mUsername '%s' doesn't existed\033[0m" % name
    return
  if md5_digest(pwd) == password:
    login_time = time.time()
    last_login_time = db.get(name).get('last_login_time')
    if login_time - last_login_time < LOGIN_TIME_OUT:
      print "\033[1;31;40mYou already logged in at: <%s>\033[0m" % datetime.datetime.fromtimestamp(last_login_time).isoformat()

    db[name]['last_login_time'] = login_time
    print "\033[1;32;40mwelcome back\033[0m", name
  else:
    print "\033[1;31;40mlogin incorrect\033[0m"

def md5_digest(plain_pass):
  return md5.new(plain_pass).hexdigest()

def showmenu():
  #print '>>>', db
  global db
  prompt = """
(N)ew User Login
(E)xisting User Login
(Q)uit
Enter choice: """
  done = False
  while not done:
    chosen = False
    while not chosen:
      try:
        choice = raw_input(prompt).strip()[0].lower()
      except (EOFError, KeyboardInterrupt):
        choice = "q"
      print "\nYou picked: [%s]" % choice
      if choice not in "neq":
        print "invalid option, try again"
      else:
        chosen = True

    if choice == "q": done = True
    if choice == "n": newuser()
    if choice == "e": olduser()
  db.close()

if __name__ == "__main__":
  showmenu()

感谢阅读本文,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
Python返回真假值(True or False)小技巧
Apr 10 Python
Python合并两个字典的常用方法与效率比较
Jun 17 Python
python字符串连接方法分析
Apr 12 Python
Python中的变量和作用域详解
Jul 13 Python
Python脚本实时处理log文件的方法
Nov 21 Python
python使用mysql数据库示例代码
May 21 Python
flask中过滤器的使用详解
Aug 01 Python
Python从文件中读取数据的方法讲解
Feb 14 Python
python xlwt如何设置单元格的自定义背景颜色
Sep 03 Python
使用Matplotlib绘制不同颜色的带箭头的线实例
Apr 17 Python
Python基于pandas绘制散点图矩阵代码实例
Jun 04 Python
python中entry用法讲解
Dec 04 Python
Pyhton中单行和多行注释的使用方法及规范
Oct 11 #Python
使用Python脚本实现批量网站存活检测遇到问题及解决方法
Oct 11 #Python
深入浅析ImageMagick命令执行漏洞
Oct 11 #Python
Zabbix实现微信报警功能
Oct 09 #Python
python 2.6.6升级到python 2.7.x版本的方法
Oct 09 #Python
Django1.7+python 2.78+pycharm配置mysql数据库
Oct 09 #Python
解决python2.7 查询mysql时出现中文乱码
Oct 09 #Python
You might like
用PHP实现浏览器点击下载TXT文档的方法详解
2013/06/02 PHP
Windows中使用计划任务自动执行PHP程序实例
2014/05/09 PHP
php银联网页支付实现方法
2015/03/04 PHP
WordPress用户登录框密码的隐藏与部分显示技巧
2015/12/31 PHP
php制作简单模版引擎
2016/04/07 PHP
php  PATH_SEPARATOR判断当前服务器系统类型实例
2016/10/28 PHP
PHP针对中英文混合字符串长度判断及截取方法示例
2017/03/31 PHP
30个最好的jQuery 灯箱插件分享
2011/04/25 Javascript
模拟电子签章盖章效果的jQuery插件源码
2013/06/24 Javascript
jQuery中delegate与on的用法与区别示例介绍
2013/12/20 Javascript
alert和confirm功能介绍
2014/05/21 Javascript
Javascript中call与apply的学习笔记
2014/09/22 Javascript
第九章之路径分页标签与徽章组件
2016/04/25 Javascript
JavaScript常用正则函数用法示例
2017/01/23 Javascript
jQuery、layer实现弹出层的打开、关闭功能
2017/06/28 jQuery
JavaScript实现滑动导航栏效果
2017/08/30 Javascript
基于Bootstrap table组件实现多层表头的实例代码
2017/09/07 Javascript
js读取本地文件的实例
2017/12/22 Javascript
jQuery中each遍历的三种方法实例分析
2018/09/07 jQuery
Vue.js计算机属性computed和methods方法详解
2019/10/12 Javascript
Centos5.x下升级python到python2.7版本教程
2015/02/14 Python
初学Python函数的笔记整理
2015/04/07 Python
解决pycharm安装后代码区不能编辑的问题
2018/10/28 Python
python删除列表元素的三种方法(remove,pop,del)
2019/07/22 Python
用python3 urllib破解有道翻译反爬虫机制详解
2019/08/14 Python
vscode 配置 python3开发环境的方法
2019/09/19 Python
Python使用socketServer包搭建简易服务器过程详解
2020/06/12 Python
详解Python Celery和RabbitMQ实战教程
2021/01/20 Python
职务说明书范文
2014/05/07 职场文书
个人承诺书格式
2014/06/03 职场文书
管理失职检讨书
2015/05/05 职场文书
物业保安辞职信
2015/05/12 职场文书
2016年社区植树节活动总结
2016/03/16 职场文书
2019年亲子运动会口号
2019/10/11 职场文书
基于Pygame实现简单的贪吃蛇游戏
2021/12/06 Python
vue特效之翻牌动画
2022/04/20 Vue.js