在Python中编写数据库模块的教程


Posted in Python onApril 29, 2015

在一个Web App中,所有数据,包括用户信息、发布的日志、评论等,都存储在数据库中。在awesome-python-app中,我们选择MySQL作为数据库。

Web App里面有很多地方都要访问数据库。访问数据库需要创建数据库连接、游标对象,然后执行SQL语句,最后处理异常,清理资源。这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用。

此外,在一个Web App中,有多个用户会同时访问,系统以多进程或多线程模式来处理每个用户的请求。假设以多线程为例,每个线程在访问数据库时,都必须创建仅属于自身的连接,对别的线程不可见,否则,就会造成数据库操作混乱。

所以,我们还要创建一个简单可靠的数据库访问模型,在一个线程中,能既安全又简单地操作数据库。

为什么不选择SQLAlchemy?SQLAlchemy太庞大,过度地面向对象设计导致API太复杂。

所以我们决定自己设计一个封装基本的SELECT、INSERT、UPDATE和DELETE操作的db模块:transwarp.db。
设计db接口

设计底层模块的原则是,根据上层调用者设计简单易用的API接口,然后,实现模块内部代码。

假设transwarp.db模块已经编写完毕,我们希望以这样的方式来调用它:

首先,初始化数据库连接信息,通过create_engine()函数:

from transwarp import db
db.create_engine(user='root', password='password', database='test', host='127.0.0.1', port=3306)

然后,就可以直接操作SQL了。

如果需要做一个查询,可以直接调用select()方法,返回的是list,每一个元素是用dict表示的对应的行:

users = db.select('select * from user')
# users =>
# [
#   { "id": 1, "name": "Michael"},
#   { "id": 2, "name": "Bob"},
#   { "id": 3, "name": "Adam"}
# ]

如果要执行INSERT、UPDATE或DELETE操作,执行update()方法,返回受影响的行数:

n = db.update('insert into user(id, name) values(?, ?)', 4, 'Jack')

update()函数签名为:

update(sql, *args)

统一用?作为占位符,并传入可变参数来绑定,从根本上避免SQL注入攻击。

每个select()或update()调用,都隐含地自动打开并关闭了数据库连接,这样,上层调用者就完全不必关心数据库底层连接。

但是,如果要在一个数据库连接里执行多个SQL语句怎么办?我们用一个with语句实现:

with db.connection():
  db.select('...')
  db.update('...')
  db.update('...')

如果要在一个数据库事务中执行多个SQL语句怎么办?我们还是用一个with语句实现:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

实现db模块

由于模块是全局对象,模块变量是全局唯一变量,所以,有两个重要的模块变量:

# db.py

# 数据库引擎对象:
class _Engine(object):
  def __init__(self, connect):
    self._connect = connect
  def connect(self):
    return self._connect()

engine = None

# 持有数据库连接的上下文对象:
class _DbCtx(threading.local):
  def __init__(self):
    self.connection = None
    self.transactions = 0

  def is_init(self):
    return not self.connection is None

  def init(self):
    self.connection = _LasyConnection()
    self.transactions = 0

  def cleanup(self):
    self.connection.cleanup()
    self.connection = None

  def cursor(self):
    return self.connection.cursor()

_db_ctx = _DbCtx()

由于_db_ctx是threadlocal对象,所以,它持有的数据库连接对于每个线程看到的都是不一样的。任何一个线程都无法访问到其他线程持有的数据库连接。

有了这两个全局变量,我们继续实现数据库连接的上下文,目的是自动获取和释放连接:

class _ConnectionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_cleanup = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_cleanup = True
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    if self.should_cleanup:
      _db_ctx.cleanup()

def connection():
  return _ConnectionCtx()

定义了__enter__()和__exit__()的对象可以用于with语句,确保任何情况下__exit__()方法可以被调用。

把_ConnectionCtx的作用域作用到一个函数调用上,可以这么写:

with connection():
  do_some_db_operation()
但是更简单的写法是写个@decorator:
@with_connection
def do_some_db_operation():
  pass

这样,我们实现select()、update()方法就更简单了:

@with_connection
def select(sql, *args):
  pass

@with_connection
def update(sql, *args):
  pass

注意到Connection对象是存储在_DbCtx这个threadlocal对象里的,因此,嵌套使用with connection()也没有问题。_DbCtx永远检测当前是否已存在Connection,如果存在,直接使用,如果不存在,则打开一个新的Connection。

对于transaction也是类似的,with transaction()定义了一个数据库事务:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

函数作用域的事务也有一个简化的@decorator:

@with_transaction
def do_in_transaction():
  pass

事务也可以嵌套,内层事务会自动合并到外层事务中,这种事务模型足够满足99%的需求。

事务嵌套比Connection嵌套复杂一点,因为事务嵌套需要计数,每遇到一层嵌套就+1,离开一层嵌套就-1,最后到0时提交事务:

class _TransactionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_close_conn = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_close_conn = True
    _db_ctx.transactions = _db_ctx.transactions + 1
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    _db_ctx.transactions = _db_ctx.transactions - 1
    try:
      if _db_ctx.transactions==0:
        if exctype is None:
          self.commit()
        else:
          self.rollback()
    finally:
      if self.should_close_conn:
        _db_ctx.cleanup()

  def commit(self):
    global _db_ctx
    try:
      _db_ctx.connection.commit()
    except:
      _db_ctx.connection.rollback()
      raise

  def rollback(self):
    global _db_ctx
    _db_ctx.connection.rollback()

最后,把select()和update()方法实现了,db模块就完成了。

Python 相关文章推荐
Python中用format函数格式化字符串的用法
Apr 08 Python
使用Python编写vim插件的简单示例
Apr 17 Python
Python装饰器实现几类验证功能做法实例
May 18 Python
微信跳一跳python代码实现
Jan 05 Python
python利用微信公众号实现报警功能
Jun 10 Python
Python正则表达式匹配数字和小数的方法
Jul 03 Python
Django集成celery发送异步邮件实例
Dec 17 Python
Python安装与卸载流程详细步骤(图解)
Feb 20 Python
关于Python Tkinter Button控件command传参问题的解决方式
Mar 04 Python
Python 没有main函数的原因
Jul 10 Python
python 装饰器的使用示例
Oct 10 Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 Python
Python的gevent框架的入门教程
Apr 29 #Python
在Python中使用HTML模版的教程
Apr 29 #Python
以Flask为例讲解Python的框架的使用方法
Apr 29 #Python
详解Python程序与服务器连接的WSGI接口
Apr 29 #Python
Python的SQLAlchemy框架使用入门
Apr 29 #Python
python使用post提交数据到远程url的方法
Apr 29 #Python
python实现根据ip地址反向查找主机名称的方法
Apr 29 #Python
You might like
如何使用PHP实现javascript的escape和unescape函数
2013/06/29 PHP
php利用header函数下载各种文件
2016/08/24 PHP
PHP 等比例缩放图片详解及实例代码
2016/09/18 PHP
windows 2008r2+php5.6.28环境搭建详细过程
2019/06/18 PHP
js表格分页实现代码
2009/09/18 Javascript
ext combox 下拉框不出现自动提示,自动选中的解决方法
2010/02/24 Javascript
Javascript访问器属性实例分析
2014/12/30 Javascript
javascript通过元素id和name直接取得元素的方法
2015/04/28 Javascript
Jquery全屏相册插件zoomvisualizer具有调节放大与缩小功能
2015/11/02 Javascript
javascript中的面向对象
2017/03/30 Javascript
Spring shiro + bootstrap + jquery.validate 实现登录、注册功能
2017/06/02 jQuery
关于jquery form表单序列化的注意事项详解
2017/08/01 jQuery
bootstrap select2插件用ajax来获取和显示数据的实例
2018/08/09 Javascript
vue中子组件的methods中获取到props中的值方法
2018/08/27 Javascript
JS表格的动态操作完整示例
2020/01/13 Javascript
[01:06:26]全国守擂赛第二周 Team Coach vs DeMonsTer
2020/04/28 DOTA
python 切片和range()用法说明
2013/03/24 Python
调试Python程序代码的几种方法总结
2015/04/28 Python
python提取字典key列表的方法
2015/07/11 Python
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
2016/01/20 Python
Python-ElasticSearch搜索查询的讲解
2019/02/25 Python
python实现ip地址查询经纬度定位详解
2019/08/30 Python
wxPython多个窗口的基本结构
2019/11/19 Python
Python-opencv 双线性插值实例
2020/01/17 Python
python 命名规范知识点汇总
2020/02/14 Python
Python django框架 web端视频加密的实例详解
2020/11/20 Python
HTML5 canvas基本绘图之绘制矩形
2016/06/27 HTML / CSS
舞会礼服和舞会鞋:PromGirl
2019/04/22 全球购物
俄罗斯Sportmarket体育在线商店:用于旅游和户外活动
2019/11/12 全球购物
Java中会存在内存泄漏吗,请简单描述
2016/12/22 面试题
《两只鸟蛋》教学反思
2014/02/10 职场文书
自行车广告词大全
2014/03/21 职场文书
公司爱心捐款倡议书
2014/05/14 职场文书
社区助残日活动总结
2014/08/29 职场文书
纪念九一八事变83周年国旗下讲话稿
2014/09/15 职场文书
建国大业观后感800字
2015/06/01 职场文书