让Python更加充分的使用Sqlite3


Posted in Python onDecember 11, 2017

我最近在涉及大量数据处理的项目中频繁使用 sqlite3。我最初的尝试根本不涉及任何数据库,所有的数据都将保存在内存中,包括字典查找、迭代和条件等查询。这很好,但可以放入内存的只有那么多,并且将数据从磁盘重新生成或加载到内存是一个繁琐又耗时的过程。

我决定试一试sqlite3。因为只需打开与数据库的连接,这样可以增加可处理的数据量,并将应用程序的加载时间减少到零。此外,我可以通过 SQL 查询替换很多Python逻辑语句。

我想分享一些关于这次经历的心得和发现。

TL;DR

  • 使用大量操作 (又名 executemany)。
  • 你不需要使用光标 (大部分时间)。
  • 光标可被迭代。
  • 使用上下文管理器。
  • 使用编译指示 (当它有意义)。
  • 推迟索引创建。
  • 使用占位符来插入 python 值。

1. 使用大量操作

如果你需要在数据库中一次性插入很多行,那么你真不应该使用 execute。sqlite3 模块提供了批量插入的方式:executemany。

而不是像这样做:

for row in iter_data():
connection.execute('INSERT INTO my_table VALUES (?)', row)

你可以利用这个事实,即 executemany 接受元组的生成器作为参数:

connection.executemany(
 'INSERT INTO my_table VALUE (?)',
  iter_data()
)

这不仅更简洁,而且更高效。实际上,sqlite3 在幕后利用 executemany 实现 execute,但后者插入一行而不是多行。

我写了一个小的基准测试,将一百万行插入空表(数据库在内存中):
executemany: 1.6 秒
execute: 2.7 秒

2. 你不需要游标

一开始我经常搞混的事情就是,光标管理。在线示例和文档中通常如下:

connection = sqlite3.connect(':memory:')
cursor = connection.cursor()
# Do something with cursor

但大多数情况下,你根本不需要光标,你可以直接使用连接对象(本文末尾会提到)。像execute和executemany类似的操作可以直接在连接上调用。以下是一个证明此事的示例:

import sqlite3
connection = sqlite3(':memory:')
# Create a table
connection.execute('CREATE TABLE events(ts, msg)')
# Insert values
connection.executemany(
 'INSERT INTO events VALUES (?,?)',
  [
    (1, 'foo'),
    (2, 'bar'),
    (3, 'baz')
  ]
)
# Print inserted rows
for row in connnection.execute('SELECT * FROM events'):
  print(row)

3. 光标(Cursor)可被用于迭代

你可能经常会看到使用fetchone或fetchall来处理SELECT查询结果的示例。但是我发现处理这些结果的最自然的方式是直接在光标上迭代:

for row in connection.execute('SELECT * FROM events'):
 print(row)

这样一来,只要你得到足够的结果,你就可以终止查询,并且不会引起资源浪费。当然,如果事先知道你需要多少结果,可以改用LIMIT SQL语句,但Python生成器是非常方便的,可以让你将数据生成与数据消耗分离。

4. 使用Context Managers(上下文管理器)

即使在处理SQL事务的中间,也会发生讨厌的事情。为了避免手动处理回滚或提交,你可以简单地使用连接对象作为上下文管理器。 在以下示例中,我们创建了一个表,并错误地插入了重复的值:

import sqlite3
connection = sqlite3.connect(':memory:')
with connection:
  connection.execute(
 'CREATE TABLE events(ts, msg, PRIMARY KEY(ts, msg))')
try:
  with connection:
    connection.executemany('INSERT INTO events VALUES (?, ?)', [
      (1, 'foo'),
      (2, 'bar'),
      (3, 'baz'),
      (1, 'foo'),
    ])
except (sqlite3.OperationalError, sqlite3.IntegrityError) as e:
  print('Could not complete operation:', e)
# No row was inserted because transaction failed
for row in connection.execute('SELECT * FROM events'):
  print(row)
connection.close()

5. 使用Pragmas

…当它真的有用时

在你的程序中有几个 pragma 可用于调整 sqlite3 的行为。特别地,其中一个可以改善性能的是synchronous:

connection.execute('PRAGMA synchronous = OFF')

你应该知道这可能是危险的。如果应用程序在事务中间意外崩溃,数据库可能会处于不一致的状态。所以请小心使用! 但是如果你要更快地插入很多行,那么这可能是一个选择。

6. 推迟索引创建

假设你需要在数据库上创建几个索引,而你需要在插入很多行的同时创建索引。把索引的创建推迟到所有行的插入之后可以导致实质性的性能改善。

7. 使用占位符插入 Python 值

使用 Python 字符串操作将值包含到查询中是很方便的。但是这样做非常不安全,而 sqlite3 给你提供了更好的方法来做到这一点:

# Do not do this!
my_timestamp = 1
c.execute("SELECT * FROM events WHERE ts = '%s'" % my_timestamp)
# Do this instead
my_timestamp = (1,)
c.execute('SELECT * FROM events WHERE ts = ?', my_timestamp)

此外,使用Python%s(或格式或格式的字符串常量)的字符串插值对于executemany来说并不是总是可行。所以在此尝试没有什么真正意义!

请记住,这些小技巧可能会(也可能不会)给你带来好处,具体取决于特定的用例。你应该永远自己去尝试,决定是否值得这么做。

英文:remusao,译文:oschina

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
git使用.gitignore设置不生效或不起作用问题的解决方法
Jun 01 Python
python中实现延时回调普通函数示例代码
Sep 08 Python
python书籍信息爬虫实例
Mar 19 Python
Python实现扣除个人税后的工资计算器示例
Mar 26 Python
计算机二级python学习教程(3) python语言基本数据类型
May 16 Python
Python3的高阶函数map,reduce,filter的示例详解
Jul 23 Python
python识别文字(基于tesseract)代码实例
Aug 24 Python
Python unittest工作原理和使用过程解析
Feb 24 Python
python 获取当前目录下的文件目录和文件名实例代码详解
Mar 10 Python
keras的backend 设置 tensorflow,theano操作
Jun 30 Python
python删除文件、清空目录的实现方法
Sep 23 Python
利用python+request通过接口实现人员通行记录上传功能
Jan 13 Python
pandas中Timestamp类用法详解
Dec 11 #Python
Python排序搜索基本算法之插入排序实例分析
Dec 11 #Python
python实现二叉树的遍历
Dec 11 #Python
django上传图片并生成缩略图方法示例
Dec 11 #Python
使用Python的package机制如何简化utils包设计详解
Dec 11 #Python
python timestamp和datetime之间转换详解
Dec 11 #Python
Python时间戳使用和相互转换详解
Dec 11 #Python
You might like
[EPIC] Larva vs Flash ZvT @ Crossing Field [2017-10-09]
2020/03/17 星际争霸
header跳转和include包含问题详解
2012/09/08 PHP
一个漂亮的php验证码类(分享)
2013/08/06 PHP
Discuz论坛密码与密保加密规则
2016/12/19 PHP
JavaScript 撑出页面文字换行
2009/06/15 Javascript
jquery tablesorter.js 支持中文表格排序改进
2009/12/09 Javascript
JqGrid web打印实现代码
2011/05/31 Javascript
javascript 事件处理、鼠标拖动效果实现方法详解
2012/05/11 Javascript
jquery使用remove()方法删除指定class子元素
2015/03/26 Javascript
JavaScript获取网页支持表单字符集的方法
2015/04/02 Javascript
js时间比较 js计算时间差的简单实现方法
2016/08/26 Javascript
Dropzone.js实现文件拖拽上传功能(附源码下载)
2016/11/22 Javascript
Bootstrap基本插件学习笔记之Alert警告框(20)
2016/12/08 Javascript
从零开始学习Node.js系列教程四:多页面实现数学运算的client端和server端示例
2017/04/13 Javascript
JS中数组与对象的遍历方法实例小结
2018/08/14 Javascript
从零开始实现Vue简单的Toast插件
2018/12/03 Javascript
JS开发常用工具函数(小结)
2019/07/04 Javascript
[41:05]Serenity vs Pain 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
Python内置模块logging用法实例分析
2018/02/12 Python
详解Django中间件执行顺序
2018/07/16 Python
python框架中flask知识点总结
2018/08/17 Python
django进阶之cookie和session的使用示例
2018/08/17 Python
浅谈PyTorch的可重复性问题(如何使实验结果可复现)
2020/02/20 Python
Python3 assert断言实现原理解析
2020/03/02 Python
10个python3常用排序算法详细说明与实例(快速排序,冒泡排序,桶排序,基数排序,堆排序,希尔排序,归并排序,计数排序)
2020/03/17 Python
python中如何进行连乘计算
2020/05/28 Python
Python多线程正确用法实例解析
2020/05/30 Python
Python 随机按键模拟2小时
2020/12/30 Python
opencv实现图像几何变换
2021/03/24 Python
土木工程应届生自荐信
2013/09/24 职场文书
机关党建工作汇报材料
2014/08/20 职场文书
诚信考试主题班会
2015/08/17 职场文书
2016中秋节晚会开场白
2015/11/26 职场文书
Go语言设计模式之结构型模式
2021/06/22 Golang
解决Springboot PostMapping无法获取数据的问题
2022/05/06 Java/Android
Java服务调用RestTemplate与HttpClient的使用详解
2022/06/21 Java/Android