在Python中编写数据库模块的教程


Posted in Python onApril 29, 2015

在一个Web App中,所有数据,包括用户信息、发布的日志、评论等,都存储在数据库中。在awesome-python-app中,我们选择MySQL作为数据库。

Web App里面有很多地方都要访问数据库。访问数据库需要创建数据库连接、游标对象,然后执行SQL语句,最后处理异常,清理资源。这些访问数据库的代码如果分散到各个函数中,势必无法维护,也不利于代码复用。

此外,在一个Web App中,有多个用户会同时访问,系统以多进程或多线程模式来处理每个用户的请求。假设以多线程为例,每个线程在访问数据库时,都必须创建仅属于自身的连接,对别的线程不可见,否则,就会造成数据库操作混乱。

所以,我们还要创建一个简单可靠的数据库访问模型,在一个线程中,能既安全又简单地操作数据库。

为什么不选择SQLAlchemy?SQLAlchemy太庞大,过度地面向对象设计导致API太复杂。

所以我们决定自己设计一个封装基本的SELECT、INSERT、UPDATE和DELETE操作的db模块:transwarp.db。
设计db接口

设计底层模块的原则是,根据上层调用者设计简单易用的API接口,然后,实现模块内部代码。

假设transwarp.db模块已经编写完毕,我们希望以这样的方式来调用它:

首先,初始化数据库连接信息,通过create_engine()函数:

from transwarp import db
db.create_engine(user='root', password='password', database='test', host='127.0.0.1', port=3306)

然后,就可以直接操作SQL了。

如果需要做一个查询,可以直接调用select()方法,返回的是list,每一个元素是用dict表示的对应的行:

users = db.select('select * from user')
# users =>
# [
#   { "id": 1, "name": "Michael"},
#   { "id": 2, "name": "Bob"},
#   { "id": 3, "name": "Adam"}
# ]

如果要执行INSERT、UPDATE或DELETE操作,执行update()方法,返回受影响的行数:

n = db.update('insert into user(id, name) values(?, ?)', 4, 'Jack')

update()函数签名为:

update(sql, *args)

统一用?作为占位符,并传入可变参数来绑定,从根本上避免SQL注入攻击。

每个select()或update()调用,都隐含地自动打开并关闭了数据库连接,这样,上层调用者就完全不必关心数据库底层连接。

但是,如果要在一个数据库连接里执行多个SQL语句怎么办?我们用一个with语句实现:

with db.connection():
  db.select('...')
  db.update('...')
  db.update('...')

如果要在一个数据库事务中执行多个SQL语句怎么办?我们还是用一个with语句实现:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

实现db模块

由于模块是全局对象,模块变量是全局唯一变量,所以,有两个重要的模块变量:

# db.py

# 数据库引擎对象:
class _Engine(object):
  def __init__(self, connect):
    self._connect = connect
  def connect(self):
    return self._connect()

engine = None

# 持有数据库连接的上下文对象:
class _DbCtx(threading.local):
  def __init__(self):
    self.connection = None
    self.transactions = 0

  def is_init(self):
    return not self.connection is None

  def init(self):
    self.connection = _LasyConnection()
    self.transactions = 0

  def cleanup(self):
    self.connection.cleanup()
    self.connection = None

  def cursor(self):
    return self.connection.cursor()

_db_ctx = _DbCtx()

由于_db_ctx是threadlocal对象,所以,它持有的数据库连接对于每个线程看到的都是不一样的。任何一个线程都无法访问到其他线程持有的数据库连接。

有了这两个全局变量,我们继续实现数据库连接的上下文,目的是自动获取和释放连接:

class _ConnectionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_cleanup = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_cleanup = True
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    if self.should_cleanup:
      _db_ctx.cleanup()

def connection():
  return _ConnectionCtx()

定义了__enter__()和__exit__()的对象可以用于with语句,确保任何情况下__exit__()方法可以被调用。

把_ConnectionCtx的作用域作用到一个函数调用上,可以这么写:

with connection():
  do_some_db_operation()
但是更简单的写法是写个@decorator:
@with_connection
def do_some_db_operation():
  pass

这样,我们实现select()、update()方法就更简单了:

@with_connection
def select(sql, *args):
  pass

@with_connection
def update(sql, *args):
  pass

注意到Connection对象是存储在_DbCtx这个threadlocal对象里的,因此,嵌套使用with connection()也没有问题。_DbCtx永远检测当前是否已存在Connection,如果存在,直接使用,如果不存在,则打开一个新的Connection。

对于transaction也是类似的,with transaction()定义了一个数据库事务:

with db.transaction():
  db.select('...')
  db.update('...')
  db.update('...')

函数作用域的事务也有一个简化的@decorator:

@with_transaction
def do_in_transaction():
  pass

事务也可以嵌套,内层事务会自动合并到外层事务中,这种事务模型足够满足99%的需求。

事务嵌套比Connection嵌套复杂一点,因为事务嵌套需要计数,每遇到一层嵌套就+1,离开一层嵌套就-1,最后到0时提交事务:

class _TransactionCtx(object):
  def __enter__(self):
    global _db_ctx
    self.should_close_conn = False
    if not _db_ctx.is_init():
      _db_ctx.init()
      self.should_close_conn = True
    _db_ctx.transactions = _db_ctx.transactions + 1
    return self

  def __exit__(self, exctype, excvalue, traceback):
    global _db_ctx
    _db_ctx.transactions = _db_ctx.transactions - 1
    try:
      if _db_ctx.transactions==0:
        if exctype is None:
          self.commit()
        else:
          self.rollback()
    finally:
      if self.should_close_conn:
        _db_ctx.cleanup()

  def commit(self):
    global _db_ctx
    try:
      _db_ctx.connection.commit()
    except:
      _db_ctx.connection.rollback()
      raise

  def rollback(self):
    global _db_ctx
    _db_ctx.connection.rollback()

最后,把select()和update()方法实现了,db模块就完成了。

Python 相关文章推荐
Python开发之快速搭建自动回复微信公众号功能
Apr 22 Python
numpy添加新的维度:newaxis的方法
Aug 02 Python
Python异常处理操作实例详解
Aug 28 Python
在PyCharm中实现关闭一个死循环程序的方法
Nov 29 Python
python3 实现对图片进行局部切割的方法
Dec 05 Python
PythonWeb项目Django部署在Ubuntu18.04腾讯云主机上
Apr 01 Python
Python使用pandas和xlsxwriter读写xlsx文件的方法示例
Apr 09 Python
python 使用matplotlib 实现从文件中读取x,y坐标的可视化方法
Jul 04 Python
Numpy的简单用法小结
Aug 28 Python
python获取响应某个字段值的3种实现方法
Apr 30 Python
新手学习Python2和Python3中print不同的用法
Jun 09 Python
Python 实现一个计时器
Jul 28 Python
Python的gevent框架的入门教程
Apr 29 #Python
在Python中使用HTML模版的教程
Apr 29 #Python
以Flask为例讲解Python的框架的使用方法
Apr 29 #Python
详解Python程序与服务器连接的WSGI接口
Apr 29 #Python
Python的SQLAlchemy框架使用入门
Apr 29 #Python
python使用post提交数据到远程url的方法
Apr 29 #Python
python实现根据ip地址反向查找主机名称的方法
Apr 29 #Python
You might like
php基础知识:类与对象(5) static
2006/12/13 PHP
php操作mysql数据库的基本类代码
2014/02/25 PHP
Win7 64位系统下PHP连接Oracle数据库
2014/08/20 PHP
PHP中feof()函数实例测试
2014/08/23 PHP
PHP的new static和new self的区别与使用
2019/11/27 PHP
javascript 浏览器判断 绑定事件 arguments 转换数组 数组遍历
2009/07/06 Javascript
TypeScript 学习笔记之基本类型
2015/06/19 Javascript
ionic实现可滑动的tab选项卡切换效果
2020/04/15 Javascript
AngularJs  Creating Services详解及示例代码
2016/09/02 Javascript
详解JavaScript中this的指向问题
2017/01/20 Javascript
jQuery实现的简单拖动层示例
2017/02/22 Javascript
JavaScript基于扩展String实现替换字符串中index处字符的方法
2017/06/13 Javascript
微信小程序实现的自定义分享功能示例
2019/02/12 Javascript
Python并发编程协程(Coroutine)之Gevent详解
2017/12/27 Python
Numpy中stack(),hstack(),vstack()函数用法介绍及实例
2018/01/09 Python
python 控制Asterisk AMI接口外呼电话的例子
2019/08/08 Python
python 多进程并行编程 ProcessPoolExecutor的实现
2019/10/11 Python
解决pytorch DataLoader num_workers出现的问题
2020/01/14 Python
Pytorch之finetune使用详解
2020/01/18 Python
15行Python代码实现免费发送手机短信推送消息功能
2020/02/27 Python
Python如何爬取b站热门视频并导入Excel
2020/08/10 Python
基于Python组装jmx并调用JMeter实现压力测试
2020/11/03 Python
一款基于css3和jquery实现的动画显示弹出层按钮教程
2015/01/04 HTML / CSS
解析HTML5中的新功能本地存储localStorage
2016/03/01 HTML / CSS
HTML5仿微信聊天界面、微信朋友圈实例代码
2018/01/29 HTML / CSS
新西兰珠宝品牌:Michael Hill
2017/09/16 全球购物
Groupon法国官方网站:特卖和网上购物高达-70%
2019/09/02 全球购物
当我正在为表建立索引的时候,SQL Server 会禁止对表的访问吗
2014/04/28 面试题
什么时候需要进行强制类型转换
2016/09/03 面试题
生产车间班组长岗位职责
2014/01/06 职场文书
女方婚礼新郎答谢词
2014/01/11 职场文书
设备管理实施方案
2014/05/31 职场文书
个人房屋转让协议书范本
2014/10/26 职场文书
javascript代码简写的几种常用方式汇总
2021/08/23 Javascript
一文简单了解MySQL前缀索引
2022/04/03 MySQL
Win10玩csgo闪退如何解决?Win10玩csgo闪退的解决方法
2022/07/23 数码科技