nodejs集成sqlite使用示例


Posted in NodeJs onJune 05, 2017

正在物色node上面的轻量级嵌入式数据库,作为嵌入式数据库的代表,sqlite无疑是个理想的选择方案。npm上集成sqlite的库主要有两个——sqlite3和realm。

realm是一个理想的选择方案,它最初是为移动app设计的,在node也可以运行的,但是不支持Windows系统。sqlite3是一个专为nodejs设计的,在nodejs上面生态更健壮,因此最终选择sqlite3。

sqlite3几乎支持所有版本的nodejs,同时也可以和nwjs集成。

安装

基于npm安装

npm install sqlite3

这样除了安装完sqlite3的npm包,最主要的是也装完了sqlite数据库,因为sqlite是嵌入式数据库,嵌入到客户端中。sqlite3使用node-pre-gyp为各个平台下载指定的预编译的二进制文件。如果无法下载到预编译的二进制文件,sqlite3将使用node-gyp和源代码来构建扩展。

这个过程出现两个的库——node-pre-gyp和node-gyp。他们究竟是什么呢?

node-gyp是一个跨平台的命令行工具,用于编译C++编写的nodejs扩展,首先gyp是为Chromium项目创建的项目生成工具,可以从平台无关的配置生成平台相关的Visual Studio、Xcode、Makefile的项目文件,node-gyp就是将其集成到nodejs中。因为linux的二进制分发快平台做的并不好,所有npm为了方便干脆就直接源码分发,用户装的时候再现场编译。不过对有些项目二进制分发就比源码分发简单多了,所以还有个node-pre-gyp来直接二进制扩展的分发。

两者区别在于node-gyp是发布扩展的源码,然后安装时候编译;node-pre-gyp是直接发布编译后的二级制形式的扩展。

和sqlite3一样的需要基于node-gyp安装的npm模块也有很多,比如node-sass等,都是发布源代码,然后编译安装。

基础api 

sqlite3的api都是基于函数回调的,因为nodejs中没有像java的jdbc那种官方的数据库客户端接口,因此每个数据库的api都不一样,这里简单介绍几个sqlite3重要的api。

新建并打开数据库

new sqlite3.Database(filename, [mode], [callback])

该方法返回一个自动打开的数据库对象,参数:

filename:有效值是一个文件名,如:“mydatebase.db”,数据库打开之后会创建一个“mydatebase.db”的文件用于保存数据。如果文件名是“:memory:”,表示是一个内存数据库(类似h2那种),数据不会持久化保存,当关闭数据库时,内容将丢失。

mode(可选):数据库的模式,共3种值:sqlite3.OPEN_READONLY(只读),sqlite3.OPEN_READWRITE(可读写)和sqlite3.OPEN_CREATE(可以创建)。 默认值为OPEN_READWRITE |OPEN_CREATE。

callback(可选):则当数据库成功打开或发生错误时,将调用此函数。 第一个参数是一个错误对象,当它为空时,表示打开成功。

打开一个数据库,如:

//数据库的名字是"mydatebase.db"
var database;
database = new sqlite3.Database("mydatebase.db", function(e){
 if (err) throw err;
});
//也可以使用内存型,数据不会永久保存
database = new sqlite3.Database(":memory:", function(e){
 if (err) throw err;
});

执行后会在项目的根目录生成一个“mydatebase.db”文件,这就是sqlite保存数据的文件了。

关闭数据库

Database#close([callback])

该方法可以关闭一个数据库连接对象,参数:

callback(可选):关闭成功的回调。 第一个参数是一个错误对象,当它为“null”时,表示关闭成功。

执行DDL和DML语句 

Database#run(sql, [param, ...], [callback])

该方法可以执行DDL和DML语句,如建表、删除表、删除行数据、插入行数据等,参数:

sql:要运行的SQL字符串。sql的类型是DDL和DML,DQL不能使用这个命令。执行后返回值不包含任何结果,必须通过callback回调函数获取执行结果。

param,...(可选):当SQL语句包含占位符(?)时,这里可以传对应的参数。 这里有三种传值方法,如:

// 直接通过参数传值.
db.run("UPDATE tbl SET name = ? WHERE id = ?", "bar", 2);



// 将值封装为一个数组传值.
db.run("UPDATE tbl SET name = ? WHERE id = ?", [ "bar", 2 ]);



// 使用一个json传值.参数的前缀可以是“:name”,“@name”和“$name”。推荐用“$name”形式
db.run("UPDATE tbl SET name = $name WHERE id = $id", {
 $id: 2,
 $name: "bar"
});

关于占位符的命名,sqlite3还支持更复杂的形式,这里不再扩展,有兴趣了解的话请查看官方文档。

callback(可选):如果执行成功,则第一个参数为null,否则就是出错。

如果执行成功,上下文this包含两个属性:lastID和changes。lastID表示在执行INSERT命令语句时,最后一条数据的id;changes表示UPADTE命令和DELETE命令时候,影响的数据行数。

db.run("UPDATE foo SET id = 1 WHERE id <= 500", function(err) {
if (err) throw err;
 //使用this.changes获取改变的行数
 assert.equal(500, this.changes);
 done();
});

执行多条语句

Database#exec(sql, [callback])

Database#exec与Database#run函数一样,都是DDL和DML语句,但是Database#exec可以执行多条语句,并且不支持占位符参数。

database.run("CREATE TABLE foo (id INT)", function(e){
 if(e !== null){
 throw e;
}
 //循环生成sql语句,批次插入多条数据
 var sql = "";
 for(var i = 0 ; i < 500; i ++){
 sql += 'INSERT INTO foo VALUES(' + i + ');'
}
 database.exec(sql, done)
});

查询一条数据

Database#get(sql, [param, ...], [callback])

sql:要运行的SQL字符串。sql的类型是DQL。这里仅返回第一条查询到的数据。

param,...(可选):同Database#run的param参数

callback(可选):同样是返回null代表执行成功。回调的签名是function(err,row)。如果查询结果集为空,则第二个参数为undefined;否则第二个参数值是查询到的第一个对象,他是个json对象,属性名称对应于结果集的列名称,因此查询的每一列都应该给出一个列表名。

查询所有数据

Database#all(sql, [param, ...], [callback])

sql:要运行的SQL字符串。sql的类型是DQL。和Database#get不同,Database#all会返回所有查询到的语句。

param,...(可选):同Database#run的param参数

callback(可选):同样是返回null代表执行成功。回调的签名是function(err, rows) 。rows是一个数组,如果查询结果集为空数组。

! 注意,Database#all首先检索所有结果行并将其存储在内存中。 对于数据量可能很大的查询命令时候,请使用Database#each函数或Database#prepare代替这个方法。

遍历数据

Database#each(sql, [param, ...], [callback], [complete])

与Database#run函数相同,都是查询多条数据,但是具有以下区别:

回调的签名是function(err,row)。如果结果集成功但为空,则不会调用回调。对于每个检索到的行,该方法都会调用一次回调。执行顺序与结果集中的行顺序完全对应。

调用所有行回调后,如果存在complete回调函数,将调用这个回调。第一个参数是一个错误对象,第二个参数是检索行数。

语句执行顺序 

sqlite3的API都是异步的,这就会出现可能有若干个命令同时进行的情况,因此sqlite3提供了两个函数来帮助控制语句的执行流程。默认是并行模式。

序列化执行

Database#serialize([callback])

如果提供回调,它将立即被调用,即此方法的回调不是异步回调。在该回调中调度的所有数据库语句将被序列化运行,即一个接一个地执行。 函数返回后,数据库将再次设置为其原始模式。

// 这里执行的命令是并行的
db.serialize(function() {
 // 这里执行的命令是串行的
 db.serialize(function() {
 // 这里执行的命令是串行的
});
 // 这里执行的命令是串行的
});
// 这里执行的命令是并行的

并行执行模式

Database#parallelize([callback])

如果提供回调,它将立即被调用,即此方法的回调不是异步回调。在该回调中调度的所有数据库语句将并行运行。函数返回后,数据库将再次设置为其原始模式。

db.serialize(function() {
 // 这里执行的命令是串行的
 db.parallelize(function() {
 // 这里执行的命令是并行的
});
 // 这里执行的命令是串行的
});

预编译SQL相关api 

在java的jdbc中,有个PreparedStatement相关的api,可以预编译sql语句,执行的时候再链接具体参数。这样的好处是可以减少sql语句被编译的次数。在sqlite3中,也存在实现这样功能的api。

Database#prepare(sql, [param, ...], [callback])

Database#prepare执行后,会返回一个命令对象,这个命令对象可以反复执行。下面看看这个命令对象(statement )的api:

Statement#run([param, ...], [callback])
Statement#get([param, ...], [callback])
Statement#all([param, ...], [callback])
Statement#each([param, ...], [callback])

以上api方法与Database的同名方法调用方式相同。不同点是这里的Statement对象是可以复用的,避免了重复编译sql语句,因此项目中更推荐使用上述方法。

! 注意,这些方法的param参数都会对Statement对象绑定参数,在下一次执行的时候,如果没有重新绑定参数,是会使用上一次参数的。

绑定参数 

Statement#bind([param, ...], [callback])

Database#prepare执行的时候,是可以绑定参数的。不过使用此方法可以全重置语句对象和行游标,并删除所有先前绑定的参数,实现重新绑定的功能。

重置语句的行游标

Statement#reset([callback])

重置语句的行游标,并保留参数绑定。使用此功能可以使用相同的绑定重新执行相同的查询。

数据库事务

事务是关系型数据库中的一个重要部分,sqlite自然也是支持事务的,但是sqlite3并没有提供特殊API去实现的事务相关的操作,只能靠SQL语句去控制事务。这里举一个事务相关的例子。

var db = new sqlite3.Database(db_path);
db.run("CREATE TABLE foo (id INT, txt TEXT)");
db.run("BEGIN TRANSACTION");
var stmt = db.prepare("INSERT INTO foo VALUES(?, ?)");
for (var i = 0; i < count; i++) {
 stmt.run(i, randomString());
}
db.run("COMMIT TRANSACTION");

对SQLCipher的支持

SQLCipher是一个在SQLite基础之上进行扩展的开源数据库,他和SQLite不同就是提供了对数据的加密,可提供数据库文件的透明256位AES加密。

sqlite3的官网特意提及他对SQLCipher的集成,如果要集成sqlcipher需要在编译时候通过构建选项告诉sqlite3要集成的是SQLCipher:

npm install sqlite3 --build-from-source --sqlite_libname=sqlcipher --sqlite=/usr/
node -e 'require("sqlite3")'

不过笔者并没尝试对SQLCipher的集成,具体集成方法请自行查阅官网对这部分的详细介绍。

基于promise对sqlite3API的封装 

sqlite3的API是node早期的API风格,对异步的书写风格并不友好,很容易出现“金字塔回调”式的代码。为了让对API的调用更加优雅,我们往往会把回调封装成Promise。事实上这个工作并不需要我们自己做,sqlite3生态下已经有其他库可以实现这样的功能。sqlite就是一个这样的库。他基于sqlite3,只手用Promise重新封装了一下sqlite3的API,使其代码风格更加优雅,也更容易使用。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

NodeJs 相关文章推荐
nodejs教程之入门
Nov 21 NodeJs
nodejs事件的监听与触发的理解分析
Feb 12 NodeJs
nodejs爬虫抓取数据之编码问题
Jul 03 NodeJs
nodeJs爬虫获取数据简单实现代码
Mar 29 NodeJs
nodejs 实现钉钉ISV接入的加密解密方法
Jan 16 NodeJs
Nodejs 发送Post请求功能(发短信验证码例子)
Feb 09 NodeJs
实例分析nodejs模块xml2js解析xml过程中遇到的坑
Mar 18 NodeJs
NodeJS基础API搭建服务器详细过程记录
Apr 01 NodeJs
nodejs后台集成ueditor富文本编辑器的实例
Jul 11 NodeJs
nodejs+mongodb+vue前后台配置ueditor的示例代码
Jan 02 NodeJs
nodejs多版本管理总结
Apr 03 NodeJs
NodeJS 实现多语言的示例代码
Sep 11 NodeJs
详解nodeJS之二进制buffer对象
Jun 03 #NodeJs
深入理解Nodejs Global 模块
Jun 03 #NodeJs
nodejs socket实现的服务端和客户端功能示例
Jun 02 #NodeJs
NodeJs使用Mysql模块实现事务处理实例
May 31 #NodeJs
基于nodejs 的多页面爬虫实例代码
May 31 #NodeJs
详解nodeJS之路径PATH模块
May 31 #NodeJs
NodeJS实现微信公众号关注后自动回复功能
May 31 #NodeJs
You might like
提高define性能的php扩展hidef的安装和使用
2011/06/14 PHP
如何在PHP中使用正则表达式进行查找替换
2013/06/13 PHP
PHP中array_map与array_column之间的关系分析
2014/08/19 PHP
php中限制ip段访问、禁止ip提交表单的代码分享
2014/08/22 PHP
php递归实现无限分类的方法
2015/07/28 PHP
在Laravel5.6中使用Swoole的协程数据库查询
2018/06/15 PHP
laravel框架数据库操作、查询构建器、Eloquent ORM操作实例分析
2019/12/20 PHP
Laravel框架下的Contracts契约详解
2020/03/17 PHP
js 目录列举函数
2008/11/06 Javascript
JQuery获取元素文档大小、偏移和位置和滚动条位置的方法集合
2010/01/12 Javascript
js中top、clientTop、scrollTop、offsetTop的区别 文字详细说明版
2011/01/08 Javascript
从零开始学习jQuery (十) jQueryUI常用功能实战
2011/02/23 Javascript
jquery调用asp.net 页面后台的实现代码
2011/04/27 Javascript
jQuery通过控制节点实现仅在前台通过get方法完成参数传递
2015/02/02 Javascript
实例解析JS布尔对象的toString()方法和valueOf()方法
2015/10/25 Javascript
jQuery之简单的表单验证实例
2016/07/07 Javascript
JS调用Android、Ios原生控件
2017/01/06 Javascript
有关JS中的0,null,undefined,[],{},'''''''',false之间的关系
2017/02/14 Javascript
js实现彩色条纹滚动条效果
2017/03/15 Javascript
详解vue中使用vue-quill-editor富文本小结(图片上传)
2019/04/24 Javascript
微信小程序mpvue点击按钮获取button值的方法
2019/05/29 Javascript
对于Python中线程问题的简单讲解
2015/04/03 Python
Python编程之event对象的用法实例分析
2017/03/23 Python
python3实现点餐系统
2019/01/24 Python
python面试题小结附答案实例代码
2019/04/11 Python
python中time.ctime()实例用法
2021/02/03 Python
Fnac西班牙官网:法国文化和电子产品零售商
2021/03/14 全球购物
某公司C#程序员面试题笔试题
2014/05/26 面试题
简历的个人自我评价范文
2014/01/03 职场文书
英语专业个人求职信范文
2014/02/01 职场文书
《观舞记》教学反思
2014/04/16 职场文书
教师一帮一活动总结
2014/07/08 职场文书
2015年员工工作总结范文
2015/04/08 职场文书
投诉信范文
2015/07/02 职场文书
致三级跳运动员加油稿
2015/07/21 职场文书
导游词之永济鹳雀楼
2020/01/16 职场文书