shell脚本作为保证PHP脚本不挂掉的守护进程实例分享


Posted in PHP onJuly 15, 2013

前几天开始跑一份数据名单,名单需要提供用户名、是否有手机号、是否有邮箱,用户名单我轻易的获取到了,但是,用户名单有2000w之多,并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求,然后分析返回值才能知道。

下面是我处理的方案:
1、将2000w名单保存到临时数据表
2、用PHP程序每次从该表获取500个用户,检测完后生成SQL update原纪录
3、为了防止PHP程序突然断掉,用shell脚本每隔1分钟检测,PHP挂掉了则重启
我使用shell脚本作为守护进程的原因是,手机与邮箱的检测接口速度慢,不可能在1~2天将2000w用户检测完。

方案详细:
1、临时保存用户名单表users,表结构如下:

CREATE TABLE `users` ( 
  `account` varchar(50) COMMENT '用户名', 
  `has_phone` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有手机号', 
  `has_email` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有邮箱', 
  `flag` tinyint(3) unsigned  NOT NULL default '0' COMMENT '标志位', 
  PRIMARY KEY  (`account`), 
  KEY `flag` (`flag`) 
 ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COMMENT='名单表';

我先将2000多w用户名导入到这个临时表,has_phone与has_email这二个字段默认都是0(没有),标志位flag说明该用户是否已经检测完。
下面是一部分表数据:
9873aaa,0,0,0
adddwwwd876222,0,0,0
testalexlee,0,0,0
codejia.net,0,0,0
haohdouywaa21,0,0,0
 
2、PHP脚本check_users.php
将 用户名单导入到表之后,再写一个简单的PHP脚本,思路是这样的:每次循环从表取flag=0的500个用户,然后请求接口判断用户是否有手机号、邮箱, 生成一条SQL,保存到一个SQLS数组里,等500个用户全部检测完了之后,循环SQLS数组,更新表里这500个名单,并将flag标志位设置为1, 表示已经检测完,下次就不获取了。
由于PHP脚本代码较长,这里分享下简单的代码说明:
<?php 
class Users{ 
    private $data; 
    private $sqls; 
    private $nums;         //判断是否有500用户 
    private $total_nums;   //当前已经检测完的用户数量     //每次取500个用户 
    private function getUsers(){...} 
    //检测这500个用户并生成SQL 
    private function checkUserInfo(){...} 
    //更新这500个用户 
    private function updateUserInfo(){...} 
    //运行 
    public function run(){ 
        $flag = true; 
        while($flag){ 
             if($this->nums != 500){ $flag = false; } 
             if($this->total_nums == 10000){  
                exit(0); //跑完1w个用户就退出,由守护进程启动 
             } 
             $this->getUsers(); 
             $this->checkUserInfo(); 
             $this->updateUserInfo(); 
             sleep(1); //跑完500用户休息1秒,保护用户检测接口      
         } 
    } 
} 
$user = new Users(); 
$user->run(); 
?>

上面是简洁版的PHP脚本,大概意思到了,刚开始的版本是没有$total_nums这个变量,是因为刚开始跑这个脚本的时候,发现只跑完了4w多条脚本就挂球了,后来一看,是因为连接数据库没连上,脚本一直挂在那里。加上这个变量也无法解决这个问题,只是在每次跑完1w个用户之后,PHP脚本退出,再由下面的shell脚本重新启动。

3、shell脚本作为守护进程
我把这个shell脚本加到了crontab里边,每隔1分钟执行一次,这个shell脚本很简单,检测check_users.php是否存在进程id,如果存在,则说明PHP脚本还在运行,shell脚本不做任何操作;如果不存在,则说明PHP脚本已经exit(0)跑完了1w用户退出了,那么shell脚本启动该脚本,进入下一个1w用户名单的检测。
上面我有讲到,如果PHP脚本在连接数据库的时候,无法连接上的时候,PHP会一直挂球在那里,无法退出了。我在shell脚本里加了一个时间检测,当PHP脚本进程存在的时候,计算已经存在了多长时间,如果超过了我预想的时间,则将PHP脚本kill掉,再重启。

开头的举例数据,结果类似如下:
testalexlee,1,0,1
codejia.net,0,0,1
haohdouywaa21,1,1,1
9873aaa,0,1,1
adddwwwd876222,1,0,1

说在最后:以上用户名单数据只是举个栗子,不要太认真,2000w数据,我估计要跑一段时间了,因为检测接口比较慢,接口在接到请求后还要连表,查表,再返回。其实,最好的方法还是直接从接口请求的表拉一份名单出来,再用shell命令处理下很快就有结果了,可是在公司就是这样,有些东西不开放的,你懂的~~~

PHP 相关文章推荐
PHP中设置时区方法小结
Jun 03 PHP
PHP编码转换函数 自动转换字符集支持数组转换
Dec 16 PHP
php防注入,表单提交值转义的实现详解
Jun 10 PHP
解析php 版获取重定向后的地址(代码)
Jun 26 PHP
PHP使用适合阅读的格式显示文件大小的方法
Mar 05 PHP
php使用simplexml_load_file加载XML文件并显示XML的方法
Mar 19 PHP
分享ThinkPHP3.2中关联查询解决思路
Sep 20 PHP
php计算年龄精准到年月日
Nov 17 PHP
PHP实现多图上传(结合uploadify插件)思路分析
Nov 30 PHP
PHP基于imagick扩展实现合成图片的两种方法【附imagick扩展下载】
Nov 14 PHP
Mac系统下安装PHP Xdebug
Mar 30 PHP
PHP如何防止用户重复提交表单
Dec 09 PHP
PHP 伪静态技术原理以及突破原理实现介绍
Jul 12 #PHP
php的$_FILES的临时储存文件与回收机制实测过程
Jul 12 #PHP
php图像处理函数大全(推荐收藏)
Jul 11 #PHP
PHP 获取远程文件大小的3种解决方法
Jul 11 #PHP
深入Nginx + PHP 缓存详解
Jul 11 #PHP
基于PHP中的常用函数回顾
Jul 11 #PHP
PHP 获取文件权限函数介绍
Jul 11 #PHP
You might like
第二章 PHP入门基础之php代码写法
2011/12/30 PHP
WordPress主题中添加文章列表页页码导航的PHP代码实例
2015/12/22 PHP
基于php流程控制语句和循环控制语句(讲解)
2017/10/23 PHP
PHP实现动态删除XML数据的方法示例
2018/03/30 PHP
Laravel框架集合用法实例浅析
2020/05/14 PHP
MSN消息提示类
2006/09/05 Javascript
javascript 构造函数强制调用经验总结
2012/12/02 Javascript
javascript jscroll模拟html元素滚动条
2012/12/18 Javascript
浅谈javascript对象模型和function对象
2014/12/26 Javascript
javascript弹出页面回传值的方法
2015/01/28 Javascript
javascript实现数组中的内容随机输出
2015/08/11 Javascript
jQuery+Ajax实现无刷新操作
2016/01/04 Javascript
nodejs利用http模块实现银行卡所属银行查询和骚扰电话验证示例
2016/12/30 NodeJs
jQuery插件echarts设置折线图中折线线条颜色和折线点颜色的方法
2017/03/03 Javascript
基于Vue的文字跑马灯组件(npm 组件包)
2017/05/24 Javascript
javascript回调函数详解
2018/02/06 Javascript
Node.js 使用AngularJS的方法示例
2018/05/11 Javascript
微信小程序批量上传图片到七牛(推荐)
2019/12/19 Javascript
[07:54]DOTA2 MV《我的动力鞋》 ImbaTV 出品
2014/11/21 DOTA
Python列表计数及插入实例
2014/12/17 Python
Python基于pygame实现的font游戏字体(附源码)
2015/11/11 Python
利用python的socket发送http(s)请求方法示例
2018/05/07 Python
Anaconda2下实现Python2.7和Python3.5的共存方法
2018/06/11 Python
用django设置session过期时间的方法解析
2019/08/05 Python
详解css3中的伪类before和after常见用法
2020/11/17 HTML / CSS
澳大利亚第一的设计师礼服租赁网站:GlamCorner
2017/08/13 全球购物
英国领先的杂志订阅网站:Magazine.co.uk
2018/01/25 全球购物
酒店工作职员求职简历的自我评价
2013/10/23 职场文书
办理居住证介绍信
2014/01/15 职场文书
高中体育教学反思
2014/01/29 职场文书
开学典礼主持词
2014/03/19 职场文书
病假证明模板
2015/06/19 职场文书
医院保洁员管理制度
2015/08/05 职场文书
《最后一头战象》教学反思
2016/02/16 职场文书
入党转正申请自我鉴定
2019/06/25 职场文书
python元组打包和解包过程详解
2021/08/02 Python