数据库连接池的工作原理


Posted in 面试题 onSeptember 26, 2012
随着信息技术的高速发展与广泛应用,数据库技术在信息技术领域中的位置越来越重要,尤其是网络应用和电子商务的迅速发展,都需要数据库技术支持动态Web站点的运行,而传统的开发模式是:首先在主程序(如Servlet、Beans)中建立数据库连接;然后进行SQL操作,对数据库中的对象进行查询、修改和删除等操作;最后断开数据库连接。使用这种开发模式,对于一个简单的数据库应用,由于数据库的访问不是很频繁,只需要在访问数据库时创建一个连接,用完后就关闭它,这样做不会明显的增大系统的开销。但是对于一个复杂的数据库应用,情况就完全不同:频繁的建立、关闭数据库,会极大的降低系统的性能,增大系统的开销,甚至成为系统的瓶颈。另外使用这种传统的模式,还必须管理数据库的每一个连接,以确保他们能正确关闭,如果出现程序异常而导致某些连接未能关闭,将引起数据库系统中的内存泄露,最终不得不重启数据库。因此采用运行速度更快、数据库访问效率更高的数据库技术,以提高系统的运行效率将是至关重要的。

为了解决这一问题,在JDBC2.0中提出了JDBC连接池技术,通过在客户之间共享一组连接,而不是在它们需要的时候再为它们生成,这样就可以改善资源使用,提高应用程序的响应能力。

JDBC 概述

JDBC(Java Database Connectivity,Java数据库连接)是一种用于执行SQL语句的JavaAPI,可以为多种关系型数据库(如Oracle、Sybase、 SQL Server、Access等)提供统一访问接口,它由一组Java语言编写的类和接口组成,使数据库开发人员能够用标准JavaAPI编写数据库应用程序。

连接池技术

1、连接池原理

连接池技术的核心思想是:连接复用,通过建立一个数据库连接池以及一套连接使用、分配、管理策略,使得该连接池中的连接可以得到高效、安全的复用,避免了数据库连接频繁建立、关闭的开销。另外,由于对JDBC中的原始连接进行了封装,从而方便了数据库应用对于连接的使用(特别是对于事务处理),提高了开发

效率,也正是因为这个封装层的存在,隔离了应用的本身的处理逻辑和具体数据库访问逻辑,使应用本身的复用成为可能。连接池主要由三部分组成(如图1所示):连接池的建立、连接池中连接的使用管理、连接池的关闭。下面就着重讨论这三部分及连接池的配置问题。

1.1 连接池的建立

应用程序中建立的连接池其实是一个静态的。所谓静态连接池是指连接池中的连接在系统初始化时就已分配好,且不能随意关闭连接。Java中提供了很多容器类可以方便的构建连接池,如:Vector、Stack、Servlet、Bean等,通过读取连接属性文件 Connections.properties与数据库实例建立连接。在系统初始化时,根据相应的配置创建连接并放置在连接池中,以便需要使用时能从连接池中获取,这样就可以避免连接随意的建立、关闭造成的开销。

1.2 连接池的管理

连接池管理策略是连接池机制的核心。当连接池建立后,如何对连接池中的连接进行管理,解决好连接池内连接的分配和释放,对系统的性能有很大的影响。连接的合理分配、释放可提高连接的复用,降低了系统建立新连接的开销,同时也加速了用户的访问速度。下面介绍连接池中连接的分配、释放策略。

连接池的分配、释放策略对于有效复用连接非常重要,我们采用的方法是一个很有名的设计模式:

Reference Counting(引用记数)。该模式在复用资源方面应用的非常广泛,把该方法运用到对于连接的分配释放上,为每一个数据库连接,保留一个引用记数,用来记录该连接的使用者的个数。具体的实现方法是:

当客户请求数据库连接时,首先查看连接池中是否有空闲连接(指当前没有分配出去的连接)。如果存在空闲连接,则把连接分配给客户并作相应处理(即标记该连接为正在使用,引用计数加1)。如果没有空闲连接,则查看当前所开的连接数是不是已经达到maxConn(最大连接数),如果没达到就重新创建一个连接给请求的客户;如果达到就按设定的maxWaitTime(最大等待时间)进行等待,如果等待maxWaitTime后仍没有空闲连接,就抛出无空闲连接的异常给用户。

当客户释放数据库连接时,先判断该连接的引用次数是否超过了规定值,如果超过就删除该连接,并判断当前连接池内总的连接数是否小于minConn(最小连接数),若小于就将连接池充满;如果没超过就将该连接标记为开放状态,可供再次复用。可以看出正是这套策略保证了数据库连接的有效复用,避免频繁地建立、释放连接所带来的系统资源开销。

1.3 连接池的关闭

当应用程序退出时,应关闭连接池,此时应把在连接池建立时向数据库申请的连接对象统一归还给数据库(即关闭所有数据库连接),这与连接池的建立正好是一个相反过程。

1.4 连接池的配置

数据库连接池中到底要放置多少个连接,才能使系统的性能更佳,用minConn和maxConn来限制。minConn是当应用启动的时候连接池所创建的连接数,如果过大启动将变慢,但是启动后响应更快;如果过小启动加快,但是最初使用的用户将因为连接池中没有足够的连接不可避免的延缓了执行速度。因此应该在开发的过程中设定较小minConn,而在实际应用的中设定较大minConn。maxConn是连接池中的最大连接数,可以通过反复试验来确定此饱和点。为此在连接池类ConnectionPool中加入两个方法getActiveSize()和 getOpenSize(),ActiveSize 表示某一时间有多少连接正被使用,OpenSize表示连接池中有多少连接被打开,反映了连接池使用的峰值。将这两个值在日志信息中反应出来, minConn的值应该小于平均ActiveSize,而maxConn的值应该在activeSize和 OpenSize之间。

2、连接池的关键技术

2.1 事务处理

前面讨论的是关于使用数据库连接进行普通的数据库访问。对于事务处理,情况就变得比较复杂。因为事务本身要求原则性的保证,此时就要求对于数据库的操作符合”All-All- Nothing”原则,即要么全部完成,要么什么都不做。如果简单的采用上述的连接复用的策略,就会发生问题,因为没有办法控制属于同一个事务的多个数据库操作方法的动作,可能这些数据库操作是在多个连接上进行的,并且这些连接可能被其他非事务方法复用。Connection本身具有提供了对于事务的支持,可以通过设置C
onnection的AutoCommit属性为false,显式的调用 commit或rollback方法来实现。但是要安全、高效的进行连接复用,就必须提供相应的事务支持机制。方法是:采用显式的事务支撑方法,每一个事务独占一个连接。这种方法可以大大降低对于事务处理的复杂性,并且又不会妨碍连接的复用。

连接管理服务提供了显式的事务开始、结束(commit或rollback)声明,以及一个事务注册表,用于登记事务发起者和事务使用的连接的对应关系,通过该表,使用事务的部分和连接管理部分就隔离开,因为该表是在运行时根据实际的调用情况动态生成的。事务使用的连接在该事务运行中不能被复用。在实现中,用户标识是通过使用者所在的线程来标识的。后面的所有对于数据库的访问都是通过查找该注册表,使用已经分配的连接来完成的。当事务结束时,从注册表中删除相应表项。

2.2 封装

从上面的论述可以看出,普通的数据库方法和事务方法对于连接的使用(分配、释放)是不同的,为了便于使用,对外提供一致的操作接口,我们对连接进行了封装:普通连接和事务连接,并利用了Java中的强大的面向对象特性:多态。普通连接和事务连接均实现了一个DbConnection接口,对于接口中定义的方法,分别根据自己的特点作了不同的实现,这样在对于连接的处理上就非常的一致了。

2.3 并发

为了使连接管理服务有更大的通用性,我们必须要考虑到多线程环境,即并发问题。在一个多线程的环境下,必须要保证连接管理自身数据的一致性和连接内部数据的一致性,在这方面Java提供很好的支持(synchronized关键字),这样就很容易使连接管理成为线程安全的。

2.4 多数据库服务器

在实际应用中,应用程序常常需要访问多个不同的数据库。如何通过同一个连接池访问不同的数据库,是应用程序需要解决的一个核心问题。下面介绍一种解决的途径:

首先,定义一个数据库连接池参数的类,定义了数据库的JDBC驱动程序类名,连接的URL以及用户名口令等等一些信息,该类是用于初始化连接池的参数:

public class ConnectionParam implements Serializable{
//各初始化参数的定义
}

其次是连接池的工厂类ConnectionFactory,通过该类将一个连接池对象与一个名称对应起来,使用者通过该名称就可以获取指定的连接池对象,实现的主要代码如下:

public class ConnectionFactory{
static Hashtable connectionPools = //用来保存数据源名和连接池对象的关系
public static DataSource lookup(String dataSourceName) throws
NameNotFoundException{
//查找名字为dataSourceName的数据源
}

public static DataSource bind(String name, ConnectionParam param)
throws Exception
//将名字name与使用param初始化的连接池对象绑定
}

public static void unbind(String name) throws NameNotFound
Exception{
//将与名字name绑定的连接池对象删除
}
连接池应用的实现

一个完整的连接池应用包括三个部分:DBConnectionPool类,负责从连接池获取(或创建)连接、将连接返回给连接池、系统关闭时关闭所有连接释放所有资源;DBConnectionManager类,负责装载和注册JDBC驱动、根据属性文件中定义的属性创建 DBConnectionPool、跟踪应用程序对连接池的引用等;应用程序对连接池的使用。

本文实现的数据库连接池包括一个管理类 DBConnectionManager,负责提供与多个连接池对象(DBConnectionPool类)之间的接口。每一个连接池对象管理一组封装过的JDBC连接对象Conn,封装过的JDBC连接对象Conn可以被任意数量的Model层的组件共享。

类Conn 的设计很简单,如下所示:

Class Conn {
Private java. sgl .Connection con; //数据库连接对象
Public Boolean inUse ; //是否被使用
Public long lastAccess; //最近一次释放该连接的时间
Public int useCount; // 被使用次数
}

下面是实现连接池的主要代码:

// 初始化数据库连接池

public static synchronized void FastInitPool()
throws Exception {
try { Class.forName(driver);
for (int i=0; i<size; i++) {
Connection con = createConnection();
if (con!=null) addConnection(con);
} } }

// 向连接池对象中添加数据库连接

private static void addConnection(Connection con) {
if (pool=null||pool1=null) {
pool=new Vector(size);
pool1=new Vector(size); }
pool.addElement(con);
pool1.addElement(“false”); }

// 获取数据库连接

public static synchronized Connection getConn()
throws Exception {
Connection conn = null;
try { if (driver = null)
FastInitPool();
// 获得一个可用的(空闲的)连接
.for (int i = 0; i < pool.size(); i++) {
conn = (Connection)pool.elementAt(i);
if (pool1.elementAt(i)==”false”) {
pool1.set(i,”true”);
//System.out.println(“从连接池中获取第”+(i+1)+”个空闲连接”);
return conn;
}
}
//如果没有可用连接,且已有连接数小于最大连接数限制,则创建并增加一个新连接到连接池
conn = createConnection();
pool.addElement(conn);
pool1.addElement(“true”);
// System.out.println(” 所有连接都在使用,在连接池中再创建一个新连接”);
}

catch (Exception e) {
System.err.println(e.getMessage());
throw new Exception(e.getMessage());
}
return conn; //返回一个有效的新连接
}

public Connection getConnection(String strDriver, String strUrl, String strUserName, String

strPassWord)
throws SQLException{
try{ Class.forName(strDriver);
conn = DriverManager.getConnection(strUrl, strUserName, strPassWord); }
return conn; }

Tags in this post...

面试题 相关文章推荐
super()与this()的区别
Jan 17 面试题
Ibatis中如何提高SQL Map的性能
May 11 面试题
C语言变量的命名规则都有哪些
Dec 27 面试题
聚网科技C++面试笔试题
Sep 01 面试题
文件中有一组整数,要求排序后输出到另一个文件中
Jan 04 面试题
经典c++面试题五
Dec 17 面试题
2019年c语言经典面试题目
Aug 17 面试题
结构和类有什么异同
Jul 16 面试题
武汉瑞得软件笔试题
Oct 27 面试题
shell程序中如何注释
Jan 28 面试题
某公司部分笔试题
Nov 05 面试题
重写子类方法时,抛出异常的书写注意事项
Oct 17 面试题
说出一些常用的类,包,接口
Sep 22 #面试题
abstract class和interface有什么区别?
Jan 03 #面试题
Java面试题及答案
Sep 08 #面试题
List、Map、Set三个接口,存取元素时,各有什么特点?
Sep 27 #面试题
xml有哪些解析技术?区别是什么
Apr 26 #面试题
说出ArrayList,Vector, LinkedList的存储性能和特性
Jan 04 #面试题
应用服务器有那些
Jan 19 #面试题
You might like
解析php多线程下载远程多个文件
2013/06/25 PHP
php魔术变量用法实例详解
2014/11/13 PHP
php使用curl简单抓取远程url的方法
2015/03/13 PHP
php header函数的常用http头设置
2015/06/25 PHP
PHP实现的简单缓存类
2015/07/29 PHP
PHP使用Redis替代文件存储Session的方法
2017/02/15 PHP
PHP图片水印类的封装
2017/07/06 PHP
Autocomplete Textbox Example javascript实现自动完成成功
2007/08/17 Javascript
jquery 插件学习(二)
2012/08/06 Javascript
JS+CSS 制作的超级简单的下拉菜单附图
2013/11/22 Javascript
JavaScript中按位“异或”运算符使用介绍
2014/03/14 Javascript
JavaScript返回网页中超链接数量的方法
2015/04/03 Javascript
javascript三元运算符用法实例
2015/04/16 Javascript
js获取表格的行数和列数的方法
2015/10/23 Javascript
jQuery自定义滚动条完整实例
2016/01/08 Javascript
JS中取二维数组中最大值的方法汇总
2016/04/17 Javascript
限制只能输入数字的实现代码
2016/05/16 Javascript
JS判断是否在微信浏览器打开的简单实例(推荐)
2016/08/24 Javascript
js 只比较时间大小的实例
2017/10/26 Javascript
angular 实现下拉列表组件的示例代码
2019/03/09 Javascript
环形加载进度条封装(Vue插件版和原生js版)
2019/12/04 Javascript
微信小程序用canvas画图并分享
2020/03/09 Javascript
原生JavaScript写出Tabs标签页的实例代码
2020/07/20 Javascript
vue-router 按需加载 component: () => import() 报错的解决
2020/09/22 Javascript
jQuery实现全选按钮
2021/01/01 jQuery
[01:00:17]DOTA2-DPC中国联赛 正赛 SAG vs Dynasty BO3 第二场 1月25日
2021/03/11 DOTA
利用Python中的mock库对Python代码进行模拟测试
2015/04/16 Python
Python进程间通信用法实例
2015/06/04 Python
对Python3使运行暂停的方法详解
2019/02/18 Python
对python 中re.sub,replace(),strip()的区别详解
2019/07/22 Python
倩碧英国官网:Clinique英国
2018/08/10 全球购物
致跳远运动员加油稿
2014/02/11 职场文书
财政专业求职信范文
2014/02/19 职场文书
2015清明节祭奠英烈寄语大全
2015/03/04 职场文书
2015年社区消防安全工作总结
2015/10/14 职场文书
MySQL数据库 任意ip连接方法
2022/05/20 MySQL