举例简单讲解Python中的数据存储模块shelve的用法


Posted in Python onMarch 03, 2016

shelve类似于一个key-value数据库,可以很方便的用来保存Python的内存对象,其内部使用pickle来序列化数据,简单来说,使用者可以将一个列表、字典、或者用户自定义的类实例保存到shelve中,下次需要用的时候直接取出来,就是一个Python内存对象,不需要像传统数据库一样,先取出数据,然后用这些数据重新构造一遍所需要的对象。下面是简单示例:

import shelve


def test_shelve():
  # open 返回一个Shelf类的实例
  #
  # 参数flag的取值范围:
  # 'r':只读打开
  # 'w':读写访问
  # 'c':读写访问,如果不存在则创建
  # 'n':读写访问,总是创建新的、空的数据库文件
  #
  # protocol:与pickle库一致
  # writeback:为True时,当数据发生变化会回写,不过会导致内存开销比较大
  d = shelve.open('shelve.db', flag='c', protocol=2, writeback=False)
  assert isinstance(d, shelve.Shelf)

  # 在数据库中插入一条记录
  d['abc'] = {'name': ['a', 'b']}
  d.sync()

  print d['abc']

  # writeback是False,因此对value进行修改是不起作用的
  d['abc']['x'] = 'x'
  print d['abc'] # 还是打印 {'name': ['a', 'b']}

  # 当然,直接替换key的value还是起作用的
  d['abc'] = 'xxx'
  print d['abc']

  # 还原abc的内容,为下面的测试代码做准备
  d['abc'] = {'name': ['a', 'b']}
  d.close()

  # writeback 为 True 时,对字段内容的修改会writeback到数据库中。
  d = shelve.open('shelve.db', writeback=True)

  # 上面我们已经保存了abc的内容为{'name': ['a', 'b']},打印一下看看对不对
  print d['abc']

  # 修改abc的value的部分内容
  d['abc']['xx'] = 'xxx'
  print d['abc']
  d.close()

  # 重新打开数据库,看看abc的内容是否正确writeback
  d = shelve.open('shelve.db')
  print d['abc']
  d.close()

这个有一个潜在的小问题,如下:

>>> import shelve 
>>> s = shelve.open('test.dat') 
>>> s['x'] = ['a', 'b', 'c'] 
>>> s['x'].append('d') 
>>> s['x'] 
['a', 'b', 'c']

存储的d到哪里去了呢?其实很简单,d没有写回,你把['a', 'b', 'c']存到了x,当你再次读取s['x']的时候,s['x']只是一个拷贝,而你没有将拷贝写回,所以当你再次读取s['x']的时候,它又从源中读取了一个拷贝,所以,你新修改的内容并不会出现在拷贝中,解决的办法就是,第一个是利用一个缓存的变量,如下所示

>>> temp = s['x'] 
>>> temp.append('d') 
>>> s['x'] = temp 
>>> s['x'] 
['a', 'b', 'c', 'd']

在python2.4以后有了另外的方法,就是把open方法的writeback参数的值赋为True,这样的话,你open后所有的内容都将在cache中,当你close的时候,将全部一次性写到硬盘里面。如果数据量不是很大的时候,建议这么做。

下面是一个基于shelve的简单数据库的代码

#database.py 
import sys, shelve 
 
def store_person(db): 
  """ 
  Query user for data and store it in the shelf object 
  """ 
  pid = raw_input('Enter unique ID number: ') 
  person = {} 
  person['name'] = raw_input('Enter name: ') 
  person['age'] = raw_input('Enter age: ') 
  person['phone'] = raw_input('Enter phone number: ') 
  db[pid] = person 
 
def lookup_person(db): 
  """ 
  Query user for ID and desired field, and fetch the corresponding data from 
  the shelf object 
  """ 
  pid = raw_input('Enter ID number: ') 
  field = raw_input('What would you like to know? (name, age, phone) ') 
  field = field.strip().lower() 
  print field.capitalize() + ':', \ 
    db[pid][field] 
 
def print_help(): 
  print 'The available commons are: ' 
  print 'store :Stores information about a person' 
  print 'lookup :Looks up a person from ID number' 
  print 'quit  :Save changes and exit' 
  print '?   :Print this message' 
 
def enter_command(): 
  cmd = raw_input('Enter command (? for help): ') 
  cmd = cmd.strip().lower() 
  return cmd 
 
def main(): 
  database = shelve.open('database.dat') 
  try:  
    while True: 
      cmd = enter_command() 
      if cmd == 'store': 
        store_person(database) 
      elif cmd == 'lookup': 
        lookup_person(database) 
      elif cmd == '?': 
        print_help() 
      elif cmd == 'quit': 
        return  
  finally: 
    database.close() 
if __name__ == '__main__': main()
Python 相关文章推荐
Python多线程原理与用法详解
Aug 20 Python
使用python采集脚本之家电子书资源并自动下载到本地的实例脚本
Oct 23 Python
利用nohup来开启python文件的方法
Jan 14 Python
带你认识Django
Jan 15 Python
django框架实现一次性上传多个文件功能示例【批量上传】
Jun 19 Python
Python 根据日志级别打印不同颜色的日志的方法示例
Aug 08 Python
python操作excel让工作自动化
Aug 09 Python
Python 转换文本编码实现解析
Aug 27 Python
Python datetime包函数简单介绍
Aug 28 Python
用什么库写 Python 命令行程序(示例代码详解)
Feb 20 Python
Python爬虫实例——爬取美团美食数据
Jul 15 Python
浅谈Python实现opencv之图片色素的数值运算和逻辑运算
Jun 23 Python
Python中的数据对象持久化存储模块pickle的使用示例
Mar 03 #Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 #Python
python套接字流重定向实例汇总
Mar 03 #Python
Python设计模式中单例模式的实现及在Tornado中的应用
Mar 02 #Python
Python使用设计模式中的责任链模式与迭代器模式的示例
Mar 02 #Python
详解Python设计模式编程中观察者模式与策略模式的运用
Mar 02 #Python
Python设计模式编程中解释器模式的简单程序示例分享
Mar 02 #Python
You might like
与文件上传有关的php配置参数总结
2013/06/14 PHP
php中实现可以返回多个值的函数实例
2015/03/21 PHP
解决yii2左侧菜单子级无法高亮问题的方法
2016/05/08 PHP
php use和include区别总结
2019/10/13 PHP
javascript 哈希表(hashtable)的简单实现
2010/01/20 Javascript
jqPlot 图表中文API使用文档及源码和在线示例
2012/02/07 Javascript
JQuery拖拽元素改变大小尺寸实现代码
2012/12/10 Javascript
jquery插件validate验证的小例子
2013/05/08 Javascript
jquery动态添加元素事件失效问题解决方法
2014/05/23 Javascript
Javascript基础教程之比较操作符
2015/01/18 Javascript
js事件冒泡、事件捕获和阻止默认事件详解
2016/08/04 Javascript
原生js封装运动框架的示例讲解
2017/10/01 Javascript
javascript使用Blob对象实现的下载文件操作示例
2020/04/18 Javascript
JavaScript 中判断变量是否为数字的示例代码
2020/10/22 Javascript
Flask框架中密码的加盐哈希加密和验证功能的用法详解
2016/06/07 Python
python处理xml文件的方法小结
2017/05/02 Python
Python使用修饰器执行函数的参数检查功能示例
2017/09/26 Python
Python设置在shell脚本中自动补全功能的方法
2018/06/25 Python
python 顺时针打印矩阵的超简洁代码
2018/11/14 Python
Django ImageFiled上传照片并显示的方法
2019/07/28 Python
Python使用微信接入图灵机器人过程解析
2019/11/04 Python
keras中的History对象用法
2020/06/19 Python
css3 给背景设置渐变色的方法
2019/09/12 HTML / CSS
HTML5之SVG 2D入门6—视窗坐标系与用户坐标系及变换概述
2013/01/30 HTML / CSS
北京某公司的.net笔试题
2014/03/20 面试题
简历自荐信
2013/12/02 职场文书
学生自我鉴定
2013/12/18 职场文书
酒店门卫岗位职责
2013/12/29 职场文书
教师简历自我评价
2014/02/03 职场文书
适用于所有创业者的创业计划书
2014/02/05 职场文书
2014年乡镇妇联工作总结
2014/12/02 职场文书
重阳节主题班会
2015/08/17 职场文书
Python WSGI 规范简介
2021/04/11 Python
Win10 和 Win11可以共存吗? win10/11产品生命周期/服务更新介绍
2021/11/21 数码科技
Mysql索引失效 数据库表中有索引还是查询很慢
2022/05/15 MySQL