Python bsddb模块操作Berkeley DB数据库介绍


Posted in Python onApril 08, 2015

bsddb模块是用来操作bdb的模块,bdb是著名的Berkeley DB,它的性能非常好,mysql的存储后端引擎都支持bdb的方式。这里简单介绍一些关于bsddb的使用方法。

bdb不同于一般的关系数据库,它存储的数据只能是以key和value组成的一对数据,使用就像python的字典一样,它不能直接表示多个字段,当要存储多个字段的数据时,只能把数据作为一个整体存放到value中。

使用bsddb面临的第一问题是使用什么数据访问方法,bdb支持四种:btree, hash, queue, recno。这里先说说它们有什么区别,btree是用的树结构来才存储的数据,查询速度很快,可以存储任意复杂的key和value。hash是用的hash算法,速度其实和btree比差不多的,但是当数据量特别巨大时,应该使用hash。queue是队列操作,它有一个限制,它只能存储定长的数据,也就是说value的长度是固定的!但是queue可以保持数据的先进先出,并且对数据的插入做了特殊的优化,并且提供行级锁。queue的key必须是数字。recno和queue类似,但是它可以支持变长的value,它的key同样也是数字。

    这里先对这四种数据访问方法分别做打开数据库,简单插入一条数据的演示。
对于python的bsddb模块来说,打开数据库的操作有两种方式,一是使用原始的接口,就是先打开一个环境,然后从这个环境中打开一个数据库,就像下面:

import bsddb
dbenv = bsddb.db.DBEnv()

dbenv.open(home, bsddb.db.DB_CREATE | bsddb.db.DB_INIT_MPOOL)

d = bsddb.db.DB(dbenv)

d.open(filename, bsddb.db.DB_BTREE, bsddb.db.DB_CREATE, 0666)

还有一种方式是python特有的,这个是bsddb模块本身对上面的过程做了包装,比如打开btree的:

import bsddb
db = bsddb.btopen('test.db', 'c')

看起来比上面的简单多了吧。但这种方式提供的接口很有限,也只有很简单的功能,没有第一种的灵活,但是它在python2.5的版本里是线程安全的。这里都介绍一下。
看看一个例子:

#-*- encoding: gb2312 -*-

import os, sys, string

import bsddb, time
home = "db_home"

filename = "test.db"

try:

    # 创建home目录

    os.mkdir(home)

except:

    pass
# 创建数据库环境

dbenv = bsddb.db.DBEnv()

# 打开数据库环境

dbenv.open(home, bsddb.db.DB_CREATE | bsddb.db.DB_INIT_MPOOL)

# 创建数据库对象

d = bsddb.db.DB(dbenv)

# 打开数据库, 这里的第二个参数就是指定使用什么数据访问方法

# btree是 bsddb.db.DB_BTREE, hash是bsddb.db.DB_HASH

# queu 是 bsddb.db.DB_QUEUE,  recno 是bsddb.db.DB_RECNO

d.open(filename, bsddb.db.DB_BTREE, bsddb.db.DB_CREATE, 0666)

# 插入一条数据,注意queue和recno的key不能是字符串的,应该是数字

d.put('test1', 'zhaowei')    

print d.items()

# 关闭,这时会把数据写回文件

d.close()

dbenv.close()

下面来个使用queue的,注意看有什么区别:
#-*- encoding: gb2312 -*-

import os, sys, string

import bsddb, time
home = "db_home"

filename = "testqueue.db"

try:

    os.mkdir(home)

except:

    pass
dbenv = bsddb.db.DBEnv()

dbenv.open(home, bsddb.db.DB_CREATE | bsddb.db.DB_INIT_MPOOL)

d = bsddb.db.DB(dbenv)

# queue必须要设置一个value的长度,它的value是定长的

d.set_re_len(40)

d.open(filename, bsddb.db.DB_QUEUE, bsddb.db.DB_CREATE, 0666)

# 它的key必须是数字

d.put(1, 'zhaowei')

print d.items()
d.close()

dbenv.close()

那简单的第二种方式使用如下, 要简洁很多了:
import bsddb
d = bsddb.hashopen("aaa.db", "c")

d['test1'] = "zhaowei"

print d.items()

d.close()
Python 相关文章推荐
python快速查找算法应用实例
Sep 26 Python
Python中使用hashlib模块处理算法的教程
Apr 28 Python
python统计文本字符串里单词出现频率的方法
May 26 Python
Python输出汉字字库及将文字转换为图片的方法
Jun 04 Python
酷! 程序员用Python带你玩转冲顶大会
Jan 17 Python
python selenium自动上传有赞单号的操作方法
Jul 05 Python
Python实现的括号匹配判断功能示例
Aug 25 Python
Python shelve模块实现解析
Aug 28 Python
python数据预处理 :数据共线性处理详解
Feb 24 Python
Python Tornado核心及相关原理详解
Jun 24 Python
利用Python批量识别电子账单数据的方法
Feb 08 Python
Python  序列化反序列化和异常处理的问题小结
Dec 24 Python
Python使用scrapy采集数据过程中放回下载过大页面的方法
Apr 08 #Python
在Python中使用M2Crypto模块实现AES加密的教程
Apr 08 #Python
Python使用scrapy采集时伪装成HTTP/1.1的方法
Apr 08 #Python
Python打印scrapy蜘蛛抓取树结构的方法
Apr 08 #Python
使用IPython来操作Docker容器的入门指引
Apr 08 #Python
仅用50行Python代码实现一个简单的代理服务器
Apr 08 #Python
用Python实现一个简单的能够发送带附件的邮件程序的教程
Apr 08 #Python
You might like
百度工程师讲PHP函数的实现原理及性能分析(三)
2015/05/13 PHP
WordPress中获取指定分类及其子分类下的文章数目
2015/12/31 PHP
php将服务端的文件读出来显示在web页面实例
2016/10/31 PHP
PHP静态成员变量和非静态成员变量详解
2017/02/14 PHP
JavaScript 创建对象和构造类实现代码
2009/07/30 Javascript
基于JQuery的asp.net树实现代码
2010/11/30 Javascript
解决3.01版的jquery.form.js中文乱码问题的解决方法
2012/03/08 Javascript
JS刷新当前页面的几种方法总结
2013/12/24 Javascript
红米手机抢购的js代码
2014/03/10 Javascript
JS函数this的用法实例分析
2015/02/05 Javascript
AngularJS身份验证的方法
2016/02/17 Javascript
jQuery基础_入门必看知识点
2016/07/04 Javascript
JS构造函数与原型prototype的区别介绍
2016/07/04 Javascript
深入分析javascript中console命令
2016/08/14 Javascript
微信小程序 MD5加密登录密码详解及实例代码
2017/01/12 Javascript
微信小程序商城项目之购物数量加减(3)
2017/04/17 Javascript
js判断输入框不能为空格或null值的实现方法
2018/03/02 Javascript
微信小程序实现跑马灯效果
2020/10/21 Javascript
Vue 2.0 中依赖注入 provide/inject组合实战
2019/06/20 Javascript
Vue实现导航栏菜单
2020/08/19 Javascript
[02:54]DOTA2英雄基础教程 暗影牧师戴泽
2013/12/05 DOTA
[40:56]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 Liquid vs TNC
2018/04/01 DOTA
Python 学习笔记
2008/12/27 Python
用Python中的__slots__缓存资源以节省内存开销的方法
2015/04/02 Python
django接入新浪微博OAuth的方法
2015/06/29 Python
python中获得当前目录和上级目录的实现方法
2017/10/12 Python
Python中模块(Module)和包(Package)的区别详解
2019/08/07 Python
tensorflow 大于某个值为1,小于为0的实例
2020/06/30 Python
Python with语句用法原理详解
2020/07/03 Python
Python定时任务框架APScheduler原理及常用代码
2020/10/05 Python
花园仓库建筑:Garden Buildings Direct
2018/02/16 全球购物
低碳环保倡议书
2014/04/14 职场文书
环保志愿者活动方案
2014/08/14 职场文书
共产党员批评与自我批评
2014/10/15 职场文书
Promise面试题详解之控制并发
2021/05/14 面试题
Python数据分析之pandas读取数据
2021/06/02 Python