记录一次排查PHP脚本执行卡住的问题


Posted in PHP onDecember 27, 2016

发现问题

最近忽然从监控中发现,我们一个服务的一台机器负载比同机房的其他机器要高,而流入流出流量没有差别,进一步查看发现每个机房都有一台机器存在相同的现象,梳理后发现有问题的这些机器相比正常的机器多跑了一些PHP脚本,于是猜测是执行脚本出问题导致。

解决问题

登录机器后执行top命令,果然发现存在一个CPU占用较高的PHP进程,然后执行下列命令,发现存在一个由crontab启动的执行了很长时间的PHP脚本:

ps aux | grep 'php' | grep -v 'php-fpm'

由于之前也遇到过PHP脚本执行卡住的类似情况,当时的怀疑是跨机房的Mysql查询在网络抖动时导致Mysql连接卡住了,于是理所当然的将所有卡住的进程都kill掉了,再从负载上看机器马上就恢复正常了,于是心满意足的跑去干别的了。

过了一段时间,刷了下监控,发现问题又出现了,注释掉crontab并kill掉进程后,手动执行问题脚本,竟然能稳定复现问题!看来是把问题想得太简单了,尝试用strace命令看下卡住的进程当前究竟在干什么:

[tabalt@localhost ~] sudo strace -p 13793
Process 13793 attached - interrupt to quit

什么输出都没有!再用netstat看下这个进程是否打开了什么端口:

[tabalt@localhost ~] sudo netstat -tunpa | grep 13793
tcp  0  0 192.168.1.100:38019  192.168.1.101:3306  ESTABLISHED 13793/php
tcp  0  0 192.168.1.100:47107  192.168.1.102:6379  CLOSE_WAIT 13793/php

可以看到进程打开了两个端口,分别与Mysql和Redis建立了连接,并且处于连接建立(ESTABLISHED)和对方主动关闭连接(CLOSE_WAIT)的状态;初看确实像是和数据库的连接卡住了,但是因为吃过亏上过当,咱们使用tcpdump抓包看进程和数据库之间的交互:

tcpdump -i eth0 host 192.168.1.101 and port 3306 -w ~/mysql.cap

抓了好一会,~/mysql.cap 文件中却也没有任何输出,难道进程和Mysql之间已经没有任何交互了?那为什么连接建立没有关闭呢?看来只能从头追踪一下脚本的执行情况了:

首先为了能来得及strace到进程,在PHP脚本最开始的时候输出进程的pid并sleep 10s:

echo getmypid(); sleep(10);

然后启动tcpdump准备抓包本机和Mysql的交互过程。

最后执行PHP脚本,并复制输出的pid后在新窗口中执行strace命令。

这下strace和tcpdump都有内容了!从strace结果看recvfrom之后不再有poll,但并没有看出来有什么不对:

//...
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "://xxx.com/\0\0\23jiadia"..., 271, MSG_DONTWAIT, NULL, NULL) = 271
poll([{fd=4, events=POLLIN|POLLERR|POLLHUP}], 1, 1471228928) = 1 ([{fd=4, revents=POLLIN}])
recvfrom(4, "_b?ie=UTF8&node=658390051\0\0008www."..., 271, MSG_DONTWAIT, NULL, NULL) = 206

再从抓包结果看,执行了两条SQL查询语句之后,进程没有再次发送查询请求的包,从程序记录SQL语句日志中,也发现确实只执行了两条:

select * from sites where type = 1 limit 50;
select * from sites where type = 2 limit 50;

但从这些现象中,仍然没有能看出任何端倪,只好祭出终极大法:输出调试!大概看了下代码,并在关键地方添加输出语句,于是代码看起来如下:

echo("start foreach\n");
foreach($types as $type)
{
 echo("foreach $type\n");
 $result[$type] = $this->getSites($type);
}
echo("end foreach\n");

执行后输出如下,查询type为2的网址时卡住了:

start foreach
foreach 1
foreach 2

开始怀疑调用的getSites()方法有问题,代码如下:

$sites = array(); // 省略从数据库查询的代码
$siteNum = 8;  // 省略从配置读的代码
$urlKeys = $result = array();
for($i = 0; $i < $siteNum; $i++)
{
 do {
  $site = array_shift($sites);
  $urlKey = md5($site['url']);
 } while(array_key_exists($urlKey, $urlKeys));

 $urlKeys[$urlKey] = 1;
 $result[] = $site;
}
return $result;

原来这里为了实现拿8个不重复的网址写了2个循环,如果结果中不重复的网址只有7个就会有一个空,少于7个就会有死循环!于是查了下type为2的网址个数,果然是只有6个!

总结

该问题从发现到解决花了大概1天时间,虽然最后证明是低级的代码BUG导致,但是整个排查过程还是挺有收获的,最开始的想当然证明是非常肤浅的,过程中tcpdump和strace的结果也已经很能说明问题了,对各个工具的应用应该要更加熟练,工具的结果也要深入分析。以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

PHP 相关文章推荐
PHP获得用户使用的代理服务器ip即真实ip
Dec 31 PHP
PHP伪静态页面函数附使用方法
Jun 20 PHP
使用PHP提取视频网站页面中的FLASH地址的代码
Apr 17 PHP
php中mysql模块部分功能的简单封装
Sep 30 PHP
基于php split()函数的用法详解
Jun 05 PHP
浅谈PHP接收POST数据方式
Jun 05 PHP
PHP实现多级分类生成树的方法示例
Feb 07 PHP
PHP正则删除HTML代码中宽高样式的方法
Jun 12 PHP
PHP实现十进制数字与二十六进制字母串相互转换操作示例
Aug 10 PHP
Laravel使用scout集成elasticsearch做全文搜索的实现方法
Nov 30 PHP
PHP使用Redis实现Session共享的实现示例
May 12 PHP
laravel 实现根据字段不同值做不同查询
Oct 23 PHP
PHP串行化与反串行化实例分析
Dec 27 #PHP
PHP 表单提交及处理表单数据详解及实例
Dec 27 #PHP
iOS+PHP注册登录系统 PHP部分(上)
Dec 26 #PHP
PHP实现表单提交时去除斜杠的方法
Dec 26 #PHP
PHP简单实现冒泡排序的方法
Dec 26 #PHP
php mysql操作mysql_connect连接数据库实例详解
Dec 26 #PHP
PHP常用函数总结(180多个)
Dec 25 #PHP
You might like
thinkphp模板的包含与渲染实例分析
2014/11/26 PHP
PHP实现json_decode不转义中文的方法
2017/05/20 PHP
一个不错的应用,用于提交获取文章内容,不推荐用
2007/03/03 Javascript
csdn 博客的css样式 v3
2009/02/24 Javascript
Javascript 中的类和闭包
2010/01/08 Javascript
Jquery Validation插件防止重复提交表单的解决方法
2010/03/05 Javascript
jQuery学习总结之元素的相对定位和选择器(持续更新)
2011/04/26 Javascript
Javascript中的isNaN函数使用说明
2011/11/10 Javascript
JavaScript三元运算符的多种使用技巧
2015/04/16 Javascript
深入解析JavaScript中函数的Currying柯里化
2016/03/19 Javascript
Nodejs获取网络数据并生成Excel表格
2020/03/31 NodeJs
超链接怎么正确调用javascript函数
2016/05/23 Javascript
jQuery操作DOM_动力节点Java学院整理
2017/07/04 jQuery
使用axios实现上传图片进度条功能
2017/12/21 Javascript
构建一个JavaScript插件系统
2020/10/20 Javascript
[01:56]《DOTA2》中文配音CG
2013/04/22 DOTA
二种python发送邮件实例讲解(python发邮件附件可以使用email模块实现)
2013/12/03 Python
Python输出PowerPoint(ppt)文件中全部文字信息的方法
2015/04/28 Python
Python学习小技巧总结
2018/06/10 Python
OPENCV去除小连通区域,去除孔洞的实例讲解
2018/06/21 Python
完美解决pycharm导入自己写的py文件爆红问题
2020/02/12 Python
python读取当前目录下的CSV文件数据
2020/03/11 Python
Python实现AES加密,解密的两种方法
2020/10/03 Python
JD Sports比利时官网:英国领先的运动鞋和运动服饰零售商
2018/10/10 全球购物
PHP如何设置和取得Cookie值
2015/06/30 面试题
PHP面试题及答案一
2012/06/18 面试题
师范生自荐信
2013/10/27 职场文书
企业消防安全制度
2014/02/02 职场文书
婚纱店策划方案
2014/05/22 职场文书
保护动物的标语
2014/06/11 职场文书
银行授权委托书格式
2014/10/10 职场文书
廉政文化进校园广播稿
2014/10/20 职场文书
毕业生个人总结
2015/02/28 职场文书
浅谈Python中的函数(def)及参数传递操作
2021/05/25 Python
python数据处理之Pandas类型转换
2022/04/28 Python
Java中的Kotlin 内部类原理
2022/06/16 Java/Android