关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍


Posted in PHP onJuly 13, 2020

介绍:Anemometer 是一个图形化显示MySQL慢日志的工具。结合pt-query-digest,Anemometer可以很轻松的帮你去分析慢查询日志,让你很容易就能找到哪些SQL需要优化

This is the Box Anemometer, the MySQL Slow Query Monitor. This tool is used to analyze slow query logs collected from MySQL instances to identify problematic queries

官方网站:https://github.com/box/Anemometer

环境概况

以写此文章时 percona-toolkit最新的版本3.0.10为例
mysql数据库对应版本为5.7.21,二进制安装
http和php均是系统CentOS Linux release 7.4.1708 (Core)自带版本

需要安装的步骤如下:

1.percona-toolkit工具的安装

2.php web环境的搭建安装

3.Anemometer并配置

4.导入慢查询日志

5.访问界面,查看慢查询

6.其他相关和问题解决

0. 整体的架构

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

1. percona-toolkit工具的安装

安装目的:pt-query-digest是percona-toolkit里面一个工具,其作用就是分析慢查询日志,将MySQL慢查询日志进行统计并友好的显示出来

下载地址:https://www.percona.com/downloads/percona-toolkit/

安装方式(rpm):

1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/redhat/7/x86_64/percona-toolkit-3.0.10-1.el7.x86_64.rpm

2、安装依赖,yum install perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Digest-MD5 -y

3、正式安装,rpm -ivh percona-toolkit-3.0.10-1.el7.x86_64.rpm

4、安装完毕验证,pt-query-digest --version pt-query-digest 3.0.10

安装方式(tar二进制)

1、下载包,wget https://www.percona.com/downloads/percona-toolkit/3.0.10/binary/tarball/percona-toolkit-3.0.10_x86_64.tar.gz

2、安装依赖,yum install perl-DBI perl-DBD-MySQL perl-IO-Socket-SSL perl-Digest-MD5 -y

3、解压包,tar xf percona-toolkit-3.0.10_x86_64.tar.gz

4、直接使用工具, ./percona-toolkit-3.0.10/bin/pt-query-digest --version
pt-query-digest 3.0.10

2. php web环境的搭建

安装目的:Anemometer需要依赖
LAMP环境LAMP环境的安装:
1、安装apache,yum install httpd httpd-devel -y
2、安装php,yum install php php-mysql php-common php-bcmath php-dba php-cli php-gd php-mbstring php-mcrypt php-devel php-xml php-pdo -y
3、修改时区,vim /etc/php.ini,修改为 date.timezone = PRC

LAMP环境的启动:
1、启动,systemctl start httpd
2、关闭,systemctl stop httpd
3、重启,systemctl restart httpd
4、查看,systemctl status httpd

3. 安装Anemometer并配置

1、下载安装:
安装目的:安装Anemometer应用
下载地址:https://github.com/box/Anemometer
下载包:git clone https://github.com/box/Anemometer.git
移动到对应路径:mv Anemometer /var/www/html/anemometer
2、目标慢查询数据库上需要授予Anemometer主机对应的权限
1、目的,用于分析目标慢查询数据库explain执行计划
2、授权,grant select on *.* to 'anemometer'@'$ip' identified by '123456';flush privileges;($ip为Anemometer主机对应ip地址)
3、修改配置文件增加explain读取用户密码信息 cp conf/sample.config.inc.php conf/config.inc.php vim conf/config.inc.php\\

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

4、修改配置文件指向数据源文件,vim conf/datasource_localhost.inc.php,当然也可以直接vim conf/config.inc.php

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

5、初始化数据源的数据库表的配置,mysql -uroot -p123456 -h127.0.0.1 -P5700 < install.sql,每个datasource源头可以对应不同的数据库database(修改install.sql的内容)

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

4. 导入慢查询日志

1、慢查询主机推送格式

For pt-query-digest version < 2.2
$ pt-query-digest --user=anemometer --password=superSecurePass \
--review h=db.example.com,D=slow_query_log,t=global_query_review \
--review-history h=db.example.com,D=slow_query_log,t=global_query_review_history \
--no-report --limit=0% \ 
--filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME\"" \ 
/var/lib/mysql/db.example.com-slow.log

For pt-query-digest version >= 2.2
$ pt-query-digest --user=anemometer --password=superSecurePass \
--review h=db.example.com,D=slow_query_log,t=global_query_review \
--history h=db.example.com,D=slow_query_log,t=global_query_review_history \
--no-report --limit=0% \ 
--filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME\"" \ 
/var/lib/mysql/db.example.com-slow.log

2、慢查询主机推动脚本示例

#config anemometer server, the purpose is to push slow query to the remote anemometer server and store it.
anemometer_host="127.0.0.1"
anemometer_user="root"
anemometer_password="123456"
anemometer_port=5700
anemometer_db="slow_query_log"

#config mysql server, the purpose is to get the path of the slow query log.
mysql_client="/usr/local/mysql-5.7.21/bin/mysql"
mysql_user="root"
mysql_password="123456"
mysql_socket="/tmp/mysql_5700.sock"
mysql_port=5700

#config slowqury dir to cd, and then delete the expired slow query file.
slowquery_dir="/data/mysql_$mysql_port/"

#get the path of the slow query log.
slowquery_file=`$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "show variables like 'slow_query_log_file'"|grep log|awk '{print $2}'`
pt_query_digest="/data/percona-toolkit-3.0.10/bin/pt-query-digest"

#collect mysql slowquery log into lepus database.
$pt_query_digest --user=$anemometer_user --password=$anemometer_password --port=$anemometer_port --review h=$anemometer_host,D=$anemometer_db,t=global_query_review --history h=$anemometer_host,D=$anemometer_db,t=global_query_review_history --no-report --limit=0% --filter=" \$event->{Bytes} = length(\$event->{arg}) and \$event->{hostname}=\"$HOSTNAME:$mysql_port\"" $slowquery_file

#generate a new slow query log, the below is generate a new slow file per hour.
tmp_log=`$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "select concat('$slowquery_dir','slowquery_',date_format(now(),'%Y%m%d%H'),'.log');"|grep log|sed -n -e '2p'`

#use new slow file to config mysql slowquery
$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "set global slow_query_log = 0;set global slow_query_log_file = '$tmp_log';"
$mysql_client -u$mysql_user -p$mysql_password -S $mysql_socket -e "set global slow_query_log = 1; "

#delete slow query file before 2 days
cd $slowquery_dir
/usr/bin/find ./ -name 'slowquery_*.log' -mtime +2|xargs rm -rf ;

####END####

5. 访问界面,查看慢查询

http://$ip/anemometer/ ($ip为Anemometer主机对应ip地址)

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

6、其他相关和问题解决

1、对于anemometer的主机上,需要进行慢查询主机hostname和ip的映射(修改/etc/hosts进行配置),目的在于慢查询explain执行计划的目标主机解析
#collect mysql slowquery log into lepus database步骤中,$HOSTNAME:$mysql_port
数据库存取的格式,hostname_max类似这种,cnwangdawei:5700
2、中文乱码的问题,在#collect mysql slowquery log into lepus database步骤中添加 --charset=utf8
3、慢查询主机数据库是5.7版本的数据库,可能出现界面ts_cnt不显示,替换percona toolkit为新版本,2.x.x -----> 3.x.x
4、表结构和状态字符集显示乱码,添加mysqli的字符集设定,vim /var/www/html/anemometer/lib/QueryExplain.php
新增(194行后增加),$this->mysqli->query("set names utf8");

关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍

以上就是关于Anemometer图形化显示MySQL慢日志的工具搭建及使用的详细介绍的详细内容,更多关于Anemometer图形化显示MySQL慢日志的工具搭建的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
php下连接ftp实现文件的上传、下载、删除文件实例代码
Jun 03 PHP
php中禁止单个IP与ip段访问的代码小结
Jul 04 PHP
PHP+Mysql+Ajax+JS实现省市区三级联动
May 23 PHP
PHP网页游戏学习之Xnova(ogame)源码解读(十六)
Jun 30 PHP
访问编码后的中文URL返回404错误的解决方法
Aug 20 PHP
php绘图之在图片上写中文和英文的方法
Jan 24 PHP
使用PHP similar text计算两个字符串相似度
Nov 06 PHP
PHP实现支付宝即时到账功能
Dec 21 PHP
PHP实现可添加水印与生成缩略图的图片处理工具类
Jan 16 PHP
PHP多个图片压缩成ZIP的方法
Aug 18 PHP
Yii2结合Workerman的websocket示例详解
Sep 10 PHP
PHP创建文件及写入数据(覆盖写入,追加写入)的方法详解
Feb 15 PHP
通过实例解析PHP数据类型转换方法
Jul 11 #PHP
PHP var关键字相关原理及使用实例解析
Jul 11 #PHP
PHP手机号码及邮箱正则表达式实例解析
Jul 11 #PHP
基于PHP实现短信验证码发送次数限制
Jul 11 #PHP
PHP连接MySQL数据库操作代码实例解析
Jul 11 #PHP
PHP如何使用cURL实现Get和Post请求
Jul 11 #PHP
使用Rancher在K8S上部署高性能PHP应用程序的教程
Jul 10 #PHP
You might like
德生S2000南麂列岛台湾FM收听记录
2021/03/02 无线电
二十行语句实现从Excel到mysql的转化
2006/10/09 PHP
认识并使用PHP超级全局变量
2010/01/26 PHP
PHP将XML转数组过程详解
2013/11/13 PHP
Yii中CGridView实现批量删除的方法
2015/12/28 PHP
JavaScipt基本教程之JavaScript语言的基础
2008/01/16 Javascript
基于JQuery的数字改变的动画效果--可用来做计数器
2010/08/11 Javascript
JS实现屏蔽shift,Ctrl,alt等功能键的方法
2015/06/01 Javascript
jquery对象和DOM对象的任意相互转换
2016/02/21 Javascript
基于Bootstrap重置输入框内容按钮插件
2016/05/12 Javascript
javascript数组常用方法汇总
2016/09/10 Javascript
Angular 1.x个人使用的经验小结
2017/07/19 Javascript
基于构造函数的五种继承方法小结
2017/07/27 Javascript
jquery+ajaxform+springboot控件实现数据更新功能
2018/01/22 jQuery
学习React中ref的两个demo示例
2018/08/14 Javascript
使用Object.defineProperty如何巧妙找到修改某个变量的准确代码位置
2018/11/02 Javascript
微信小程序通过js实现瀑布流布局详解
2019/08/28 Javascript
JavaScript实现与web通信的方法详解
2020/08/07 Javascript
antd Form组件方法getFieldsValue获取自定义组件的值操作
2020/10/29 Javascript
JavaScript async/await原理及实例解析
2020/12/02 Javascript
[38:30]2014 DOTA2国际邀请赛中国区预选赛 LGD-GAMING VS CIS 第一场2
2014/05/24 DOTA
让 python 命令行也可以自动补全
2014/11/30 Python
KMP算法精解及其Python版的代码示例
2016/06/01 Python
基于python socketserver框架全面解析
2017/09/21 Python
python3+PyQt5自定义视图详解
2018/04/24 Python
Python拼接字符串的7种方法总结
2018/11/01 Python
python 计算平均平方误差(MSE)的实例
2019/06/29 Python
一文了解python 3 字符串格式化 F-string 用法
2020/03/04 Python
python开发入门——列表生成式
2020/09/03 Python
RIP版本1跟版本2的区别
2013/12/30 面试题
大学生就业自我鉴定
2013/10/26 职场文书
在职人员函授期间自我评价分享
2013/11/08 职场文书
退休教师追悼词
2015/06/23 职场文书
python 算法题——快乐数的多种解法
2021/05/27 Python
2022漫威和DC电影上映作品
2022/04/05 欧美动漫
oracle delete误删除表数据后如何恢复
2022/06/28 Oracle