举例简单讲解Python中的数据存储模块shelve的用法


Posted in Python onMarch 03, 2016

shelve类似于一个key-value数据库,可以很方便的用来保存Python的内存对象,其内部使用pickle来序列化数据,简单来说,使用者可以将一个列表、字典、或者用户自定义的类实例保存到shelve中,下次需要用的时候直接取出来,就是一个Python内存对象,不需要像传统数据库一样,先取出数据,然后用这些数据重新构造一遍所需要的对象。下面是简单示例:

import shelve


def test_shelve():
  # open 返回一个Shelf类的实例
  #
  # 参数flag的取值范围:
  # 'r':只读打开
  # 'w':读写访问
  # 'c':读写访问,如果不存在则创建
  # 'n':读写访问,总是创建新的、空的数据库文件
  #
  # protocol:与pickle库一致
  # writeback:为True时,当数据发生变化会回写,不过会导致内存开销比较大
  d = shelve.open('shelve.db', flag='c', protocol=2, writeback=False)
  assert isinstance(d, shelve.Shelf)

  # 在数据库中插入一条记录
  d['abc'] = {'name': ['a', 'b']}
  d.sync()

  print d['abc']

  # writeback是False,因此对value进行修改是不起作用的
  d['abc']['x'] = 'x'
  print d['abc'] # 还是打印 {'name': ['a', 'b']}

  # 当然,直接替换key的value还是起作用的
  d['abc'] = 'xxx'
  print d['abc']

  # 还原abc的内容,为下面的测试代码做准备
  d['abc'] = {'name': ['a', 'b']}
  d.close()

  # writeback 为 True 时,对字段内容的修改会writeback到数据库中。
  d = shelve.open('shelve.db', writeback=True)

  # 上面我们已经保存了abc的内容为{'name': ['a', 'b']},打印一下看看对不对
  print d['abc']

  # 修改abc的value的部分内容
  d['abc']['xx'] = 'xxx'
  print d['abc']
  d.close()

  # 重新打开数据库,看看abc的内容是否正确writeback
  d = shelve.open('shelve.db')
  print d['abc']
  d.close()

这个有一个潜在的小问题,如下:

>>> import shelve 
>>> s = shelve.open('test.dat') 
>>> s['x'] = ['a', 'b', 'c'] 
>>> s['x'].append('d') 
>>> s['x'] 
['a', 'b', 'c']

存储的d到哪里去了呢?其实很简单,d没有写回,你把['a', 'b', 'c']存到了x,当你再次读取s['x']的时候,s['x']只是一个拷贝,而你没有将拷贝写回,所以当你再次读取s['x']的时候,它又从源中读取了一个拷贝,所以,你新修改的内容并不会出现在拷贝中,解决的办法就是,第一个是利用一个缓存的变量,如下所示

>>> temp = s['x'] 
>>> temp.append('d') 
>>> s['x'] = temp 
>>> s['x'] 
['a', 'b', 'c', 'd']

在python2.4以后有了另外的方法,就是把open方法的writeback参数的值赋为True,这样的话,你open后所有的内容都将在cache中,当你close的时候,将全部一次性写到硬盘里面。如果数据量不是很大的时候,建议这么做。

下面是一个基于shelve的简单数据库的代码

#database.py 
import sys, shelve 
 
def store_person(db): 
  """ 
  Query user for data and store it in the shelf object 
  """ 
  pid = raw_input('Enter unique ID number: ') 
  person = {} 
  person['name'] = raw_input('Enter name: ') 
  person['age'] = raw_input('Enter age: ') 
  person['phone'] = raw_input('Enter phone number: ') 
  db[pid] = person 
 
def lookup_person(db): 
  """ 
  Query user for ID and desired field, and fetch the corresponding data from 
  the shelf object 
  """ 
  pid = raw_input('Enter ID number: ') 
  field = raw_input('What would you like to know? (name, age, phone) ') 
  field = field.strip().lower() 
  print field.capitalize() + ':', \ 
    db[pid][field] 
 
def print_help(): 
  print 'The available commons are: ' 
  print 'store :Stores information about a person' 
  print 'lookup :Looks up a person from ID number' 
  print 'quit  :Save changes and exit' 
  print '?   :Print this message' 
 
def enter_command(): 
  cmd = raw_input('Enter command (? for help): ') 
  cmd = cmd.strip().lower() 
  return cmd 
 
def main(): 
  database = shelve.open('database.dat') 
  try:  
    while True: 
      cmd = enter_command() 
      if cmd == 'store': 
        store_person(database) 
      elif cmd == 'lookup': 
        lookup_person(database) 
      elif cmd == '?': 
        print_help() 
      elif cmd == 'quit': 
        return  
  finally: 
    database.close() 
if __name__ == '__main__': main()
Python 相关文章推荐
Python实现抓取百度搜索结果页的网站标题信息
Jan 22 Python
总结Python编程中三条常用的技巧
May 11 Python
python装饰器实例大详解
Oct 25 Python
python+matplotlib实现鼠标移动三角形高亮及索引显示
Jan 15 Python
基于wxPython的GUI实现输入对话框(1)
Feb 27 Python
Python实现截取PDF文件中的几页代码实例
Mar 11 Python
python list转置和前后反转的例子
Aug 26 Python
通过实例解析python描述符原理作用
Jan 22 Python
python 实现线程之间的通信示例
Feb 14 Python
基于python生成英文版词云图代码实例
May 16 Python
Python Flask框架实现简单加法工具过程解析
Jun 03 Python
python实现数学模型(插值、拟合和微分方程)
Nov 13 Python
Python中的数据对象持久化存储模块pickle的使用示例
Mar 03 #Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 #Python
python套接字流重定向实例汇总
Mar 03 #Python
Python设计模式中单例模式的实现及在Tornado中的应用
Mar 02 #Python
Python使用设计模式中的责任链模式与迭代器模式的示例
Mar 02 #Python
详解Python设计模式编程中观察者模式与策略模式的运用
Mar 02 #Python
Python设计模式编程中解释器模式的简单程序示例分享
Mar 02 #Python
You might like
法兰绒滤网冲泡
2021/03/03 冲泡冲煮
PHP If Else(elsefi) 语句
2013/04/07 PHP
Yii Framework框架获取分类下面的所有子类方法
2014/06/20 PHP
PHP Yii框架之表单验证规则大全
2015/11/16 PHP
PHP实现求解最长公共子串问题的方法
2017/11/17 PHP
PHP函数用法详解【初始化、嵌套、内置函数等】
2020/06/02 PHP
[原创]来自ImageSee官方 JavaScript图片浏览器
2008/01/16 Javascript
JS遍历数组及打印数组实例分析
2016/01/21 Javascript
第二次聊一聊JS require.js模块化工具的基础知识
2016/04/17 Javascript
Bootstrap风格的zTree右键菜单
2017/02/17 Javascript
使用bootstrap-paginator.js 分页来进行ajax 异步分页请求示例
2017/03/09 Javascript
基于Vue的SPA动态修改页面title的方法(推荐)
2018/01/02 Javascript
基于vue循环列表时点击跳转页面的方法
2018/08/31 Javascript
微信小程序实现写入读取缓存详解
2019/08/30 Javascript
JavaScript中的类型检查
2020/02/03 Javascript
JS内置对象和Math对象知识点详解
2020/04/03 Javascript
教你如何在Django 1.6中正确使用 Signal
2014/06/22 Python
Python合并字符串的3种方法
2015/05/21 Python
使用python telnetlib批量备份交换机配置的方法
2019/07/25 Python
Win10下安装并使用tensorflow-gpu1.8.0+python3.6全过程分析(显卡MX250+CUDA9.0+cudnn)
2020/02/17 Python
用python实现一个简单的验证码
2020/12/09 Python
安装不同版本的tensorflow与models方法实现
2021/02/20 Python
定义css设备类型-Media Queries图表简介及使用方法
2013/01/21 HTML / CSS
台湾饭店和机票预订网站:Expedia台湾
2016/08/05 全球购物
祖国在我心中演讲稿
2014/01/15 职场文书
卫生安全检查制度
2014/02/04 职场文书
高等教育学自荐书范文
2014/02/10 职场文书
银行青年文明号事迹材料
2014/05/31 职场文书
社区助残日活动总结
2014/08/29 职场文书
捐资助学感谢信
2015/01/21 职场文书
车辆挂靠协议书
2016/03/23 职场文书
正能量励志演讲稿三分钟(范文)
2019/07/11 职场文书
详解nodejs内置模块
2021/05/06 NodeJs
MySQL数据库之存储过程 procedure
2022/06/16 MySQL
Three.js实现雪糕地球的使用示例详解
2022/07/07 Javascript
Python pyecharts案例超市4年数据可视化分析
2022/08/14 Python