shelve  用来持久化任意的Python对象实例代码


Posted in Python onOctober 12, 2016

shelve -- 用来持久化任意的Python对象

这几天接触了Python中的shelve这个module,感觉比pickle用起来更简单一些,它也是一个用来持久化Python对象的简单工具。当我们写程序的时候如果不想用关系数据库那么重量级的东东去存储数据,不妨可以试试用shelve。shelf也是用key来访问的,使用起来和字典类似。shelve其实用anydbm去创建DB并且管理持久化对象的。

 创建一个新的shelf

直接使用shelve.open()就可以创建了

import shelve

s = shelve.open('test_shelf.db')
try:
  s['key1'] = { 'int': 10, 'float':9.5, 'string':'Sample data' }
finally:
  s.close()

如果想要再次访问这个shelf,只需要再次shelve.open()就可以了,然后我们可以像使用字典一样来使用这个shelf

import shelve

s = shelve.open('test_shelf.db')
try:
  existing = s['key1']
finally:
  s.close()

print existing

当我们运行以上两个py,我们将得到如下输出:

$ python shelve_create.py
$ python shelve_existing.py

{'int': 10, 'float': 9.5, 'string': 'Sample data'}

dbm这个模块有个限制,它不支持多个应用同一时间往同一个DB进行写操作。所以当我们知道我们的应用如果只进行读操作,我们可以让shelve通过只读方式打开DB:

import shelve

s = shelve.open('test_shelf.db', flag='r')
try:
  existing = s['key1']
finally:
  s.close()

print existing

当我们的程序试图去修改一个以只读方式打开的DB时,将会抛一个访问错误的异常。异常的具体类型取决于anydbm这个模块在创建DB时所选用的DB。

写回(Write-back)

由于shelve在默认情况下是不会记录待持久化对象的任何修改的,所以我们在shelve.open()时候需要修改默认参数,否则对象的修改不会保存。

import shelve

s = shelve.open('test_shelf.db')
try:
  print s['key1']
  s['key1']['new_value'] = 'this was not here before'
finally:
  s.close()

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
finally:
  s.close()

上面这个例子中,由于一开始我们使用了缺省参数shelve.open()了,因此第6行修改的值即使我们s.close()也不会被保存。

执行结果如下:

$ python shelve_create.py
$ python shelve_withoutwriteback.py

{'int': 10, 'float': 9.5, 'string': 'Sample data'}
{'int': 10, 'float': 9.5, 'string': 'Sample data'}

所以当我们试图让shelve去自动捕获对象的变化,我们应该在打开shelf的时候将writeback设置为True。当我们将writeback这个flag设置为True以后,shelf将会将所有从DB中读取的对象存放到一个内存缓存。当我们close()打开的shelf的时候,缓存中所有的对象会被重新写入DB。

import shelve

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
  s['key1']['new_value'] = 'this was not here before'
  print s['key1']
finally:
  s.close()

s = shelve.open('test_shelf.db', writeback=True)
try:
  print s['key1']
finally:
  s.close()

writeback方式有优点也有缺点。优点是减少了我们出错的概率,并且让对象的持久化对用户更加的透明了;但这种方式并不是所有的情况下都需要,首先,使用writeback以后,shelf在open()的时候会增加额外的内存消耗,并且当DB在close()的时候会将缓存中的每一个对象都写入到DB,这也会带来额外的等待时间。因为shelve没有办法知道缓存中哪些对象修改了,哪些对象没有修改,因此所有的对象都会被写入。

$ python shelve_create.py
$ python shelve_writeback.py
 
{'int': 10, 'float': 9.5, 'string': 'Sample data'}
{'int': 10, 'new_value': 'this was not here before', 'float': 9.5, 'string': 'Sample data'}
 {'int': 10, 'new_value': 'this was not here before', 'float': 9.5, 'string': 'Sample data'}

最后再来个复杂一点的例子:

#!/bin/env python

import time
import datetime
import md5
import shelve

LOGIN_TIME_OUT = 60
db = shelve.open('user_shelve.db', writeback=True)

def newuser():
  global db
  prompt = "login desired: "
  while True:
    name = raw_input(prompt)
    if name in db:
      prompt = "name taken, try another: "
      continue
    elif len(name) == 0:
      prompt = "name should not be empty, try another: "
      continue
    else:
      break
  pwd = raw_input("password: ")
  db[name] = {"password": md5_digest(pwd), "last_login_time": time.time()}
  #print '-->', db

def olduser():
  global db
  name = raw_input("login: ")
  pwd = raw_input("password: ")
  try:
    password = db.get(name).get('password')
  except AttributeError, e:
    print "\033[1;31;40mUsername '%s' doesn't existed\033[0m" % name
    return
  if md5_digest(pwd) == password:
    login_time = time.time()
    last_login_time = db.get(name).get('last_login_time')
    if login_time - last_login_time < LOGIN_TIME_OUT:
      print "\033[1;31;40mYou already logged in at: <%s>\033[0m" % datetime.datetime.fromtimestamp(last_login_time).isoformat()

    db[name]['last_login_time'] = login_time
    print "\033[1;32;40mwelcome back\033[0m", name
  else:
    print "\033[1;31;40mlogin incorrect\033[0m"

def md5_digest(plain_pass):
  return md5.new(plain_pass).hexdigest()

def showmenu():
  #print '>>>', db
  global db
  prompt = """
(N)ew User Login
(E)xisting User Login
(Q)uit
Enter choice: """
  done = False
  while not done:
    chosen = False
    while not chosen:
      try:
        choice = raw_input(prompt).strip()[0].lower()
      except (EOFError, KeyboardInterrupt):
        choice = "q"
      print "\nYou picked: [%s]" % choice
      if choice not in "neq":
        print "invalid option, try again"
      else:
        chosen = True

    if choice == "q": done = True
    if choice == "n": newuser()
    if choice == "e": olduser()
  db.close()

if __name__ == "__main__":
  showmenu()

感谢阅读本文,希望能帮助到大家,谢谢大家对本站的支持!

Python 相关文章推荐
Python中unittest用法实例
Sep 25 Python
python调用java模块SmartXLS和jpype修改excel文件的方法
Apr 28 Python
Python网络编程之TCP与UDP协议套接字用法示例
Feb 02 Python
使用Python来开发微信功能
Jun 13 Python
kaggle+mnist实现手写字体识别
Jul 26 Python
python实现合并两个排序的链表
Mar 03 Python
python3实现斐波那契数列(4种方法)
Jul 15 Python
使用django的ORM框架按月统计近一年内的数据方法
Jul 18 Python
python调用Matplotlib绘制分布点图
Oct 18 Python
python生成器用法实例详解
Nov 22 Python
Python实现树莓派摄像头持续录像并传送到主机的步骤
Nov 30 Python
Django如何重置migration的几种情景
Feb 24 Python
Pyhton中单行和多行注释的使用方法及规范
Oct 11 #Python
使用Python脚本实现批量网站存活检测遇到问题及解决方法
Oct 11 #Python
深入浅析ImageMagick命令执行漏洞
Oct 11 #Python
Zabbix实现微信报警功能
Oct 09 #Python
python 2.6.6升级到python 2.7.x版本的方法
Oct 09 #Python
Django1.7+python 2.78+pycharm配置mysql数据库
Oct 09 #Python
解决python2.7 查询mysql时出现中文乱码
Oct 09 #Python
You might like
PHP文件上传实例详解!!!
2007/01/02 PHP
PHP 多维数组的排序问题 根据二维数组中某个项排序
2011/11/09 PHP
微信公众平台开发实现2048游戏的方法
2015/04/15 PHP
PHP面向对象程序设计类的定义与用法简单示例
2016/12/27 PHP
让插入到 innerHTML 中的 script 跑起来的实现代码
2006/07/01 Javascript
JS遮罩层效果 兼容ie firefox jQuery遮罩层
2010/07/26 Javascript
利用JS实现浏览器的title闪烁
2013/07/08 Javascript
JSP跨iframe如何传递参数实现代码
2013/09/21 Javascript
javascript实现十六进制颜色值(HEX)和RGB格式相互转换
2014/06/20 Javascript
简单分析javascript面向对象与原型
2015/05/21 Javascript
Javascript动画效果(4)
2016/10/11 Javascript
深入理解jquery中extend的实现
2016/12/22 Javascript
详解JS去重及字符串奇数位小写转大写
2016/12/29 Javascript
深入理解Javascript中的观察者模式
2017/02/20 Javascript
nodejs 搭建简易服务器的图文教程(推荐)
2017/07/18 NodeJs
深入理解vue中的slot与slot-scope
2019/04/22 Javascript
浅谈vue中组件绑定事件时是否加.native
2019/11/09 Javascript
javascript中contains是否包含功能实现代码(扩展字符、数组、dom)
2020/04/07 Javascript
ES6中的Javascript解构的实现
2020/10/30 Javascript
在antd Form表单中select设置初始值操作
2020/11/02 Javascript
Vue 列表页带参数进详情页的操作(router-link)
2020/11/13 Javascript
使用Python发送邮件附件以定时备份MySQL的教程
2015/04/25 Python
python中selenium操作下拉滚动条的几种方法汇总
2019/07/14 Python
Python修改列表值问题解决方案
2020/03/06 Python
详解Python 中的 defaultdict 数据类型
2021/02/22 Python
如何用H5实现一个触屏版的轮播器的实例
2017/01/09 HTML / CSS
中文系学生自荐信范文
2013/11/13 职场文书
人力资源主管的岗位职责
2014/03/15 职场文书
公司活动总结怎么写
2014/06/25 职场文书
工作求职信
2014/07/04 职场文书
护理实习生带教计划
2015/01/16 职场文书
高中生个性发展自我评价
2015/03/09 职场文书
冬季作息时间调整通知
2015/04/24 职场文书
观后感开头
2015/06/19 职场文书
十一月早安语录:把心放轻,人生就是一朵自在的云
2019/11/04 职场文书
python中使用 unittest.TestCase单元测试的用例详解
2021/08/30 Python