在Python中编写数据库模块的教程


Posted in Python onApril 29, 2015

在一个Web App中,所有数据,包括用户信息、发布的日志、评论等,都存储在数据库中。在awesome-python-app中,我们选择MySQL作为数据库。

Web App里面有很多地方都要访问数据库。访问数据库需要创建数据库连接、游标对象,然后执行SQL语句,最后处理异常,清理资源。这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用。

此外,在一个Web App中,有多个用户会同时访问,系统以多进程或多线程模式来处理每个用户的请求。假设以多线程为例,每个线程在访问数据库时,都必须创建仅属于自身的连接,对别的线程不可见,否则,就会造成数据库操作混乱。

所以,我们还要创建一个简单可靠的数据库访问模型,在一个线程中,能既安全又简单地操作数据库。

为什么不选择SQLAlchemy?SQLAlchemy太庞大,过度地面向对象设计导致API太复杂。

所以我们决定自己设计一个封装基本的SELECT、INSERT、UPDATE和DELETE操作的db模块:transwarp.db。
设计db接口

设计底层模块的原则是,根据上层调用者设计简单易用的API接口,然后,实现模块内部代码。

假设transwarp.db模块已经编写完毕,我们希望以这样的方式来调用它:

首先,初始化数据库连接信息,通过create_engine()函数:

from transwarp import db
db.create_engine(user='root', password='password', database='test', host='127.0.0.1', port=3306)

然后,就可以直接操作SQL了。

如果需要做一个查询,可以直接调用select()方法,返回的是list,每一个元素是用dict表示的对应的行:

users = db.select('select * from user')
# users =>
# [
#   { "id": 1, "name": "Michael"},
#   { "id": 2, "name": "Bob"},
#   { "id": 3, "name": "Adam"}
# ]

如果要执行INSERT、UPDATE或DELETE操作,执行update()方法,返回受影响的行数:

n = db.update('insert into user(id, name) values(?, ?)', 4, 'Jack')

update()函数签名为:

update(sql, *args)

统一用?作为占位符,并传入可变参数来绑定,从根本上避免SQL注入攻击。

每个select()或update()调用,都隐含地自动打开并关闭了数据库连接,这样,上层调用者就完全不必关心数据库底层连接。

但是,如果要在一个数据库连接里执行多个SQL语句怎么办?我们用一个with语句实现:

with db.connection():
  db.select('...')
  db.update('...')
  db.update('...')

如果要在一个数据库事务中执行多个SQL语句怎么办?我们还是用一个with语句实现:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

实现db模块

由于模块是全局对象,模块变量是全局唯一变量,所以,有两个重要的模块变量:

# db.py

# 数据库引擎对象:
class _Engine(object):
  def __init__(self, connect):
    self._connect = connect
  def connect(self):
    return self._connect()

engine = None

# 持有数据库连接的上下文对象:
class _DbCtx(threading.local):
  def __init__(self):
    self.connection = None
    self.transactions = 0

  def is_init(self):
    return not self.connection is None

  def init(self):
    self.connection = _LasyConnection()
    self.transactions = 0

  def cleanup(self):
    self.connection.cleanup()
    self.connection = None

  def cursor(self):
    return self.connection.cursor()

_db_ctx = _DbCtx()

由于_db_ctx是threadlocal对象,所以,它持有的数据库连接对于每个线程看到的都是不一样的。任何一个线程都无法访问到其他线程持有的数据库连接。

有了这两个全局变量,我们继续实现数据库连接的上下文,目的是自动获取和释放连接:

class _ConnectionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_cleanup = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_cleanup = True
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    if self.should_cleanup:
      _db_ctx.cleanup()

def connection():
  return _ConnectionCtx()

定义了__enter__()和__exit__()的对象可以用于with语句,确保任何情况下__exit__()方法可以被调用。

把_ConnectionCtx的作用域作用到一个函数调用上,可以这么写:

with connection():
  do_some_db_operation()
但是更简单的写法是写个@decorator:
@with_connection
def do_some_db_operation():
  pass

这样,我们实现select()、update()方法就更简单了:

@with_connection
def select(sql, *args):
  pass

@with_connection
def update(sql, *args):
  pass

注意到Connection对象是存储在_DbCtx这个threadlocal对象里的,因此,嵌套使用with connection()也没有问题。_DbCtx永远检测当前是否已存在Connection,如果存在,直接使用,如果不存在,则打开一个新的Connection。

对于transaction也是类似的,with transaction()定义了一个数据库事务:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

函数作用域的事务也有一个简化的@decorator:

@with_transaction
def do_in_transaction():
  pass

事务也可以嵌套,内层事务会自动合并到外层事务中,这种事务模型足够满足99%的需求。

事务嵌套比Connection嵌套复杂一点,因为事务嵌套需要计数,每遇到一层嵌套就+1,离开一层嵌套就-1,最后到0时提交事务:

class _TransactionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_close_conn = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_close_conn = True
    _db_ctx.transactions = _db_ctx.transactions + 1
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    _db_ctx.transactions = _db_ctx.transactions - 1
    try:
      if _db_ctx.transactions==0:
        if exctype is None:
          self.commit()
        else:
          self.rollback()
    finally:
      if self.should_close_conn:
        _db_ctx.cleanup()

  def commit(self):
    global _db_ctx
    try:
      _db_ctx.connection.commit()
    except:
      _db_ctx.connection.rollback()
      raise

  def rollback(self):
    global _db_ctx
    _db_ctx.connection.rollback()

最后,把select()和update()方法实现了,db模块就完成了。

Python 相关文章推荐
从零学python系列之浅谈pickle模块封装和拆封数据对象的方法
May 23 Python
Python中解析JSON并同时进行自定义编码处理实例
Feb 08 Python
在Apache服务器上同时运行多个Django程序的方法
Jul 22 Python
Python实现的简单模板引擎功能示例
Sep 02 Python
python3+PyQt5重新实现QT事件处理程序
Apr 19 Python
Tensorflow使用tfrecord输入数据格式
Jun 19 Python
Django实战之用户认证(初始配置)
Jul 16 Python
对python 合并 累加两个dict的实例详解
Jan 21 Python
Python3.5文件修改操作实例分析
May 01 Python
在django中,关于session的通用设置方法
Aug 06 Python
PyQt5通信机制 信号与槽详解
Aug 07 Python
python基础之停用词过滤详解
Apr 21 Python
Python的gevent框架的入门教程
Apr 29 #Python
在Python中使用HTML模版的教程
Apr 29 #Python
以Flask为例讲解Python的框架的使用方法
Apr 29 #Python
详解Python程序与服务器连接的WSGI接口
Apr 29 #Python
Python的SQLAlchemy框架使用入门
Apr 29 #Python
python使用post提交数据到远程url的方法
Apr 29 #Python
python实现根据ip地址反向查找主机名称的方法
Apr 29 #Python
You might like
php download.php实现代码 跳转到下载文件(response.redirect)
2009/08/26 PHP
Session保存到数据库的php类分享
2011/10/24 PHP
PHP工程师VIM配置分享
2015/12/15 PHP
Yii实现显示静态页的方法
2016/04/25 PHP
常用PHP封装分页工具类
2017/01/14 PHP
PHP使用new StdClass()创建空对象的方法分析
2017/06/06 PHP
详解phpstorm2020最新破解方法
2020/09/17 PHP
extjs 学习笔记(一) 一些基础知识
2009/10/13 Javascript
js 判断脚本加载完毕的代码
2011/07/13 Javascript
JS判定是否原生方法
2013/07/22 Javascript
一个判断抢购时间是否到达的简单的js函数
2014/06/23 Javascript
Javascript中3个需要注意的运算符
2015/04/02 Javascript
JS根据key值获取URL中的参数值及把URL的参数转换成json对象
2015/08/26 Javascript
jquery制作属于自己的select自定义样式
2015/11/23 Javascript
jQuery滚动加载图片实现原理
2015/12/14 Javascript
深入理解jquery中的事件与动画
2016/05/24 Javascript
javascript中获取元素标签中间的内容的实现方法
2016/10/08 Javascript
解决jQuery ajax动态新增节点无法触发点击事件的问题
2017/05/24 jQuery
javascript  数组排序与对象排序的实例
2017/07/17 Javascript
Node.js readline 逐行读取、写入文件内容的示例
2018/03/01 Javascript
JS文件中加载jquery.js的实例代码
2018/05/05 jQuery
详解extract-text-webpack-plugin 的使用及安装
2018/06/12 Javascript
解决Js先触发失去焦点事件再执行点击事件的问题
2018/08/30 Javascript
Python 自动安装 Rising 杀毒软件
2009/04/24 Python
Python开发如何在ubuntu 15.10 上配置vim
2016/01/25 Python
Python之Numpy的超实用基础详细教程
2019/10/23 Python
keras训练曲线,混淆矩阵,CNN层输出可视化实例
2020/06/15 Python
python 图像增强算法实现详解
2021/01/24 Python
泰国办公用品购物网站:OfficeMate
2018/02/04 全球购物
Hotels.com拉丁美洲:从豪华酒店到经济型酒店的预定优惠和折扣
2019/12/09 全球购物
《小壁虎借尾巴》教学反思
2014/02/16 职场文书
遥感技术与仪器求职信
2014/02/22 职场文书
课堂教学改革实施方案
2014/03/17 职场文书
交通事故赔偿协议书范本
2014/04/15 职场文书
合作经营协议书范本
2014/04/17 职场文书
放牛班的春天观后感
2015/06/01 职场文书