举例简单讲解Python中的数据存储模块shelve的用法


Posted in Python onMarch 03, 2016

shelve类似于一个key-value数据库,可以很方便的用来保存Python的内存对象,其内部使用pickle来序列化数据,简单来说,使用者可以将一个列表、字典、或者用户自定义的类实例保存到shelve中,下次需要用的时候直接取出来,就是一个Python内存对象,不需要像传统数据库一样,先取出数据,然后用这些数据重新构造一遍所需要的对象。下面是简单示例:

import shelve


def test_shelve():
  # open 返回一个Shelf类的实例
  #
  # 参数flag的取值范围:
  # 'r':只读打开
  # 'w':读写访问
  # 'c':读写访问,如果不存在则创建
  # 'n':读写访问,总是创建新的、空的数据库文件
  #
  # protocol:与pickle库一致
  # writeback:为True时,当数据发生变化会回写,不过会导致内存开销比较大
  d = shelve.open('shelve.db', flag='c', protocol=2, writeback=False)
  assert isinstance(d, shelve.Shelf)

  # 在数据库中插入一条记录
  d['abc'] = {'name': ['a', 'b']}
  d.sync()

  print d['abc']

  # writeback是False,因此对value进行修改是不起作用的
  d['abc']['x'] = 'x'
  print d['abc'] # 还是打印 {'name': ['a', 'b']}

  # 当然,直接替换key的value还是起作用的
  d['abc'] = 'xxx'
  print d['abc']

  # 还原abc的内容,为下面的测试代码做准备
  d['abc'] = {'name': ['a', 'b']}
  d.close()

  # writeback 为 True 时,对字段内容的修改会writeback到数据库中。
  d = shelve.open('shelve.db', writeback=True)

  # 上面我们已经保存了abc的内容为{'name': ['a', 'b']},打印一下看看对不对
  print d['abc']

  # 修改abc的value的部分内容
  d['abc']['xx'] = 'xxx'
  print d['abc']
  d.close()

  # 重新打开数据库,看看abc的内容是否正确writeback
  d = shelve.open('shelve.db')
  print d['abc']
  d.close()

这个有一个潜在的小问题,如下:

>>> import shelve 
>>> s = shelve.open('test.dat') 
>>> s['x'] = ['a', 'b', 'c'] 
>>> s['x'].append('d') 
>>> s['x'] 
['a', 'b', 'c']

存储的d到哪里去了呢?其实很简单,d没有写回,你把['a', 'b', 'c']存到了x,当你再次读取s['x']的时候,s['x']只是一个拷贝,而你没有将拷贝写回,所以当你再次读取s['x']的时候,它又从源中读取了一个拷贝,所以,你新修改的内容并不会出现在拷贝中,解决的办法就是,第一个是利用一个缓存的变量,如下所示

>>> temp = s['x'] 
>>> temp.append('d') 
>>> s['x'] = temp 
>>> s['x'] 
['a', 'b', 'c', 'd']

在python2.4以后有了另外的方法,就是把open方法的writeback参数的值赋为True,这样的话,你open后所有的内容都将在cache中,当你close的时候,将全部一次性写到硬盘里面。如果数据量不是很大的时候,建议这么做。

下面是一个基于shelve的简单数据库的代码

#database.py 
import sys, shelve 
 
def store_person(db): 
  """ 
  Query user for data and store it in the shelf object 
  """ 
  pid = raw_input('Enter unique ID number: ') 
  person = {} 
  person['name'] = raw_input('Enter name: ') 
  person['age'] = raw_input('Enter age: ') 
  person['phone'] = raw_input('Enter phone number: ') 
  db[pid] = person 
 
def lookup_person(db): 
  """ 
  Query user for ID and desired field, and fetch the corresponding data from 
  the shelf object 
  """ 
  pid = raw_input('Enter ID number: ') 
  field = raw_input('What would you like to know? (name, age, phone) ') 
  field = field.strip().lower() 
  print field.capitalize() + ':', \ 
    db[pid][field] 
 
def print_help(): 
  print 'The available commons are: ' 
  print 'store :Stores information about a person' 
  print 'lookup :Looks up a person from ID number' 
  print 'quit  :Save changes and exit' 
  print '?   :Print this message' 
 
def enter_command(): 
  cmd = raw_input('Enter command (? for help): ') 
  cmd = cmd.strip().lower() 
  return cmd 
 
def main(): 
  database = shelve.open('database.dat') 
  try:  
    while True: 
      cmd = enter_command() 
      if cmd == 'store': 
        store_person(database) 
      elif cmd == 'lookup': 
        lookup_person(database) 
      elif cmd == '?': 
        print_help() 
      elif cmd == 'quit': 
        return  
  finally: 
    database.close() 
if __name__ == '__main__': main()
Python 相关文章推荐
python cookielib 登录人人网的实现代码
Dec 19 Python
Python中使用装饰器和元编程实现结构体类实例
Jan 28 Python
python网络爬虫之如何伪装逃过反爬虫程序的方法
Nov 23 Python
致Python初学者 Anaconda入门使用指南完整版
Apr 05 Python
Python实现基于KNN算法的笔迹识别功能详解
Jul 09 Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 Python
利用Python小工具实现3秒钟将视频转换为音频
Oct 29 Python
Pandas时间序列重采样(resample)方法中closed、label的作用详解
Dec 10 Python
浅谈Python访问MySQL的正确姿势
Jan 07 Python
Python selenium页面加载慢超时的解决方案
Mar 18 Python
Python批量获取并保存手机号归属地和运营商的示例
Oct 09 Python
Python制作运行进度条的实现效果(代码运行不无聊)
Feb 24 Python
Python中的数据对象持久化存储模块pickle的使用示例
Mar 03 #Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 #Python
python套接字流重定向实例汇总
Mar 03 #Python
Python设计模式中单例模式的实现及在Tornado中的应用
Mar 02 #Python
Python使用设计模式中的责任链模式与迭代器模式的示例
Mar 02 #Python
详解Python设计模式编程中观察者模式与策略模式的运用
Mar 02 #Python
Python设计模式编程中解释器模式的简单程序示例分享
Mar 02 #Python
You might like
咖啡与水的关系
2021/03/03 冲泡冲煮
PHP中实现crontab代码分享
2015/03/26 PHP
最新版本PHP 7 vs HHVM 多角度比较
2016/02/14 PHP
PHP实现超简单的SSL加密解密、验证及签名的方法示例
2017/08/28 PHP
textarea 控制输入字符字节数(示例代码)
2013/12/27 Javascript
在JavaScript中使用NaN值的方法
2015/06/05 Javascript
jQuery Validate验证框架经典大全
2015/09/23 Javascript
js判断日期时间有效性的方法
2015/10/24 Javascript
微信小程序日历组件calendar详解及实例
2017/06/08 Javascript
微信小程序后台解密用户数据实例详解
2017/06/28 Javascript
Vue基于vuex、axios拦截器实现loading效果及axios的安装配置
2019/04/26 Javascript
js微信分享接口调用详解
2019/07/23 Javascript
vue从一个页面跳转到另一个页面并携带参数的解决方法
2019/08/12 Javascript
详解Vue 换肤方案验证
2019/08/28 Javascript
微信小程序自定义yPicker组件实现省市区三级联动功能
2020/10/29 Javascript
Python使用django获取用户IP地址的方法
2015/05/11 Python
Python 26进制计算实现方法
2015/05/28 Python
python购物车程序简单代码
2018/04/18 Python
django重新生成数据库中的某张表方法
2019/08/28 Python
使用Pyhton集合set()实现成果查漏的例子
2019/11/24 Python
Python3.7+tkinter实现查询界面功能
2019/12/24 Python
Python tcp传输代码实例解析
2020/03/18 Python
python怎么判断素数
2020/07/01 Python
css3气泡 css3关键帧动画创建的动态通知气泡
2013/02/26 HTML / CSS
汉语言文学职业规划
2014/02/14 职场文书
《曹刿论战》教学反思
2014/03/02 职场文书
战略合作意向书范本
2014/04/01 职场文书
人力资源管理毕业求职信
2014/08/05 职场文书
无财产无子女离婚协议书范文
2014/09/14 职场文书
销售内勤岗位职责
2015/02/10 职场文书
2015年春训学习心得体会范文
2015/03/09 职场文书
商场收银员岗位职责
2015/04/07 职场文书
公司借条范本
2015/05/25 职场文书
区域销售大会开幕词
2016/03/04 职场文书
2016年社区党支部公开承诺书
2016/03/25 职场文书
HTTP中的Content-type详解
2022/01/18 HTML / CSS