mysql性能优化以及配置连接参数设置


Posted in MySQL onMay 06, 2022

1 前言

在java开发中,最常用的数据存储就是数据库,其中常用的就是mysql,关于数据库的连接配置信息,可能就不是那么的清除了,这里做一个配置信息的说明。

2 数据库连接配置信息

jdbc:mysql://localhost:3306/database_name?serverTimezone=Asia/Shanghai&useUnicode=true&
characterEncoding=utf8&useSSL=false&tinyInt1isBit=true&allowMultiQueries=true&
rewriteBatchedStatements=true&useAffectedRows=true&defaultFetchSize=10000&
zeroDateTimeBehavior=convertToNull

3 配置信息说明

  • 1、serverTimezone=Asia/Shanghai,即时区设置,上海时间即东八区,高版本的mysql需要设置为 GMT%2B8(GMT+8)
  • 2、useUnicode=true 使用unicode 编码
  • 3、characterEncoding=utf8 数据库连接字符集
  • 4、useSSL=false 是否使用 ssl
  • 5、tinyInt1isBit=true 转换为 tinyint(1) 转换为 boolean ,否则为 int
  • 6、allowMultiQueries=true 是否允许多行查询,在批量更新数据时,update 语句使用分号(;)进行连接,此时则需要配置运行多行查询。
  • 7、rewriteBatchedStatements=true 批处理时需要设置该参数,在mysql5.1.13以上版本才能使用,对 update/insert/delete 都可以生效。数据量大时,消耗时间 jdbc batch < mybatis batch < foreach 循环。
  • 8、useAffectedRows=true,默认为false。是否使用影响行数,默认为找的所有修改行数,即false。在update 的情况下,更新3条,如果只有两条有变化,则返回2(useAffectedRows=true),否则返回3.
  • 9、defaultFetchSize=10000 默认获取条数
  • 10、zeroDateTimeBehavior=convertToNull 默认时间转换为null,避免转换报错。0000-00-00 时间转换为 null 

4 数据库sql

# 正常的插入数据
insert into table_name
# 如果数据存在则忽略,否则进行插入
insert ignore into table_name
# 如果数据存在则更新
insert into table_name (id,name) values(1,'小明') ON DUPLICATE KEY UPDATE id = 1,name = "xiaoming"
# 如果存在则替换
replace into table_name
# mysql 还有计算功能
select 1 + 4 # 计算结果为 5
# ifnull 如果字段为空则赋默认值为 0
select ifnull(age,0) from table_name
# 正则查询 user_no 不包含 数字
SELECT * FROM table_name  WHERE user_no REGEXP '[^0-9]'
# 时间处理
select
  DATE_FORMAT(create_time, '%Y%m%d %T'), -- 20210204 12:00:00
  id,
  DATE_FORMAT(create_time, '%Y%m%d%H') as time_str, -- 2021020412
  DATE_FORMAT(create_time, '%Y%m%d') as day_str,  -- 20210204
  DATE_FORMAT(create_time, '%H') as hour_str,  -- 12
  WEEKDAY(create_time) as week_str  -- 0-6,分别是 周一到周日
from
  table_name

5 mysql 性能优化的关注点

其实,mysql 性能优化不是简单的知道和使用 explainshow profile就天下无敌了,这两个只是重要的方面,何况作为资深的CRUD工程师还未必经常使用,任何的知识都是了解->熟悉->精通,当真正的了解原理或者系统的掌握才是真正的悟道。接下来开始进入正题,mysql又能优化主要为4个方面:

  • 1 硬件资源和操作系统方面的优化
  • 2 架构设计方面的优化
  • 3 mysql服务配置项的优化
  • 4 sql执行层面的优化

6 硬件和操作系统方面的优化

硬件和操作系统就是指mysql服务所运行的服务器硬件资源情况,影响mysql性能的主要因素分为 cpu 、内存大小、磁盘读写速度、网络带宽,硬件是指操作系统的网络配置和系统文件句柄数设置(linux 系统中,一切皆文件,了解过ES搭建的同学都知道,ES的搭建就需要修改系统最大打开的文件数) ,这部分的优化一般由运维工程师和DBA联合完成,在项目开发伊始,可以根据业务需要承载的数据量和 TPS 要求根据经验,考虑后续的业务扩展性,选择与业务相适配的mysql服务。

7 架构设计方面的优化

mysql是一个磁盘io访问频繁的关系型数据库,在高并发和高性能的应用场景中会承受巨大的压力,可以采取以下措施来应对:

  • 1 搭建mysql主从集群,单个mysql服务一旦宕机,将会导致依赖mysql服务的应用无法响应导致服务不可用,可以采用采用主从集群或者主主集群避免单点故障,保障mysql服务的高可用性。
  • 2 读写分离设计,在读多写少的场景中,可以采用读写分离的方案避免读写冲突导致的性能问题。
  • 3 采用分库分表的设计。通过分库可以降低单个mysql服务器的io压力,通过分表的机制可以降低单表数据量,提高sql的查询效率。
  • 4 热点数据引入Nosql。引入Redis或者MongoDB等非关系型数据库,可以缓解mysql的访问压力,提升数据的检索性能。

8 mysql 程序配置优化。

mysql配置文件的优化,一般通过 mysql配置文件my.cnf来设置。配置项一般包括:

  • mysql的最大连接数max_connections(注意这里说的不是项目中设置的数据库连接池的连接数)
  • 最大的传输包(max_allowed_packet = 16M
  • 开启 bin log(默认不开启,主要用在 mysql 同步的场景中)
  • general log(通用日志记录 sql 的执行记录)来记录日志
  • 还有就是缓冲区(buffer pool), 包括: 关联查询缓冲区 join_buffer_size=128M, 读数据缓冲区read_buffer_size=16M,随机读缓冲区read_rnd_buffer_size=32M,排序数据缓冲区 sort_buffer_size=32M, innodb 数据缓冲区innodb_buffer_pool_size=4G

这些参数的配置一般和服务器的资源和使用场景有关,需要根据实际情况来设置。配置项的修改需要关注两个点,一是配置的作用范围,分为会话级别和全局范围,全局参数对已经存在的会话不会生效,会话参数设置只在当前会话生效,会话结束则配置失效,全局类的配置放在默认的配置文件中,否则服务重启将会失效。第二是否支持热加载

9 sql 执行层面优化

sql执行层面优化的要点如下:

  • 1 慢sql查询分析,通过慢sql查询日志和慢sql查询分析工具来定位有问题的sql列表
  • 2 执行计划。通过explain 关键字 + 慢 sql查看当前sql的执行计划,需要重点关注select_type、type、 key、 rows、 filterd、 possible_keys来分析 sql 慢的原因.
  • 3 使用show profile工具来分析,该工具是mysql提供的分析当前会话中sql语句资源消耗情况的工具,可以用于sql调优的测量,当前会话中默认是关闭的状态,需要根据情况打开,默认保存最近 15 次的分析结果,针对慢sql可以通过show profile工具来进行详细分析,得到整个过程中所以资源的开销情况,比如io开销cpu开销和内存开销等情况

10 最终总结

  • 1sql的查询一定要根据索引来进行数据扫描
  • 2 避免查询列上使用函数运算或者运算符,避免索引失效
  • 3where条件语句中like %好尽量放置在右边
  • 4 使用索引扫描,联合索引的列从左往右,命中的越多越好
  • 5sql语句的排序字段尽量是索引字段,否则会开辟空间进行结果排序
  • 6 查询语句避免使用*号,使用需要查询的列信息即可。
  • 7 关联查询或者子查询使用小结果集驱动大结果集。

到此这篇关于mysql性能优化以及配置连接参数设置的文章就介绍到这了!


Tags in this post...

MySQL 相关文章推荐
MySQL 慢查询日志深入理解
Apr 22 MySQL
详解MySQL的半同步
Apr 22 MySQL
MySQL慢查询的坑
Apr 28 MySQL
MySQL 使用事件(Events)完成计划任务
May 24 MySQL
分析mysql中一条SQL查询语句是如何执行的
Jun 21 MySQL
MySQL 发生同步延迟时Seconds_Behind_Master还为0的原因
Jun 21 MySQL
为什么MySQL选择Repeatable Read作为默认隔离级别
Jul 26 MySQL
MySQL Innodb索引机制详细介绍
Nov 23 MySQL
详解MySql中InnoDB存储引擎中的各种锁
Feb 12 MySQL
解决MySQL添加新用户-ERROR 1045 (28000)的问题
Mar 03 MySQL
mysql使用instr达到in(字符串)的效果
Apr 03 MySQL
SQLServer常见数学函数梳理总结
Aug 05 MySQL
Mysql InnoDB 的内存逻辑架构
详细介绍MySQL中limit和offset的用法
May 06 #MySQL
MySQL数据库Innodb 引擎实现mvcc锁
May 06 #MySQL
讲解MySQL增删改操作
May 06 #MySQL
解决Mysql报错 Table 'mysql.user' doesn't exist
MYSQL常用函数介绍
May 05 #MySQL
MySQL 数据 data 基本操作
May 04 #MySQL
You might like
php下封装较好的数字分页方法
2010/11/23 PHP
php学习笔记 [预定义数组(超全局数组)]
2011/06/09 PHP
php实现通过cookie换肤的方法
2015/07/13 PHP
PHP文件管理之实现网盘及压缩包的功能操作
2017/09/20 PHP
jQuery.Validate 使用笔记(jQuery Validation范例 )
2010/06/25 Javascript
jquery批量设置属性readonly和disabled的方法
2014/01/24 Javascript
jQuery中hasClass()方法用法实例
2015/01/06 Javascript
实例代码讲解jquery easyui动态tab页
2015/11/17 Javascript
实例解析jQuery插件EasyUI最常用的表单验证规则
2015/11/29 Javascript
基于javascript实现句子翻牌网页版小游戏
2016/03/23 Javascript
基于jQuery实现的查看全文功能【实用】
2016/12/11 Javascript
js实现一键复制功能
2017/03/16 Javascript
原生JS实现N级菜单的代码
2017/05/21 Javascript
JavaScript输出所选择起始与结束日期的方法
2017/07/12 Javascript
详解vue数组遍历方法forEach和map的原理解析和实际应用
2018/11/15 Javascript
详细分析JavaScript中的深浅拷贝
2020/09/17 Javascript
Openlayers实现地图全屏显示
2020/09/28 Javascript
Python之eval()函数危险性浅析
2014/07/03 Python
Python中的迭代器漫谈
2015/02/03 Python
Python栈类实例分析
2015/06/15 Python
Python编写电话薄实现增删改查功能
2016/05/07 Python
浅析Python中的赋值和深浅拷贝
2017/08/15 Python
Django中数据库的数据关系:一对一,一对多,多对多
2018/10/21 Python
Docker部署Python爬虫项目的方法步骤
2020/01/19 Python
如何通过python实现IOU计算代码实例
2020/11/02 Python
python使用requests库爬取拉勾网招聘信息的实现
2020/11/20 Python
伦敦的高级牛仔布专家:Trilogy
2018/08/06 全球购物
雷曼兄弟的五金店:Lehman’s Hardware Store
2019/04/10 全球购物
梅西百货官网:Macy’s
2020/08/04 全球购物
经典优秀毕业生求职信范文分享
2013/12/18 职场文书
财务工作者先进事迹材料
2014/01/17 职场文书
医校毕业生自我鉴定
2014/01/25 职场文书
汽车装潢店创业计划书范文
2014/02/05 职场文书
浪费资源的建议书
2014/03/12 职场文书
程序员求职信
2014/04/16 职场文书
Java Spring Boot请求方式与请求映射过程分析
2022/06/25 Java/Android