shell脚本作为保证PHP脚本不挂掉的守护进程实例分享


Posted in PHP onJuly 15, 2013

前几天开始跑一份数据名单,名单需要提供用户名、是否有手机号、是否有邮箱,用户名单我轻易的获取到了,但是,用户名单有2000w之多,并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求,然后分析返回值才能知道。

下面是我处理的方案:
1、将2000w名单保存到临时数据表
2、用PHP程序每次从该表获取500个用户,检测完后生成SQL update原纪录
3、为了防止PHP程序突然断掉,用shell脚本每隔1分钟检测,PHP挂掉了则重启
我使用shell脚本作为守护进程的原因是,手机与邮箱的检测接口速度慢,不可能在1~2天将2000w用户检测完。

方案详细:
1、临时保存用户名单表users,表结构如下:

CREATE TABLE `users` ( 
  `account` varchar(50) COMMENT '用户名', 
  `has_phone` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有手机号', 
  `has_email` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有邮箱', 
  `flag` tinyint(3) unsigned  NOT NULL default '0' COMMENT '标志位', 
  PRIMARY KEY  (`account`), 
  KEY `flag` (`flag`) 
 ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COMMENT='名单表';

我先将2000多w用户名导入到这个临时表,has_phone与has_email这二个字段默认都是0(没有),标志位flag说明该用户是否已经检测完。
下面是一部分表数据:
9873aaa,0,0,0
adddwwwd876222,0,0,0
testalexlee,0,0,0
codejia.net,0,0,0
haohdouywaa21,0,0,0
 
2、PHP脚本check_users.php
将 用户名单导入到表之后,再写一个简单的PHP脚本,思路是这样的:每次循环从表取flag=0的500个用户,然后请求接口判断用户是否有手机号、邮箱, 生成一条SQL,保存到一个SQLS数组里,等500个用户全部检测完了之后,循环SQLS数组,更新表里这500个名单,并将flag标志位设置为1, 表示已经检测完,下次就不获取了。
由于PHP脚本代码较长,这里分享下简单的代码说明:
<?php 
class Users{ 
    private $data; 
    private $sqls; 
    private $nums;         //判断是否有500用户 
    private $total_nums;   //当前已经检测完的用户数量     //每次取500个用户 
    private function getUsers(){...} 
    //检测这500个用户并生成SQL 
    private function checkUserInfo(){...} 
    //更新这500个用户 
    private function updateUserInfo(){...} 
    //运行 
    public function run(){ 
        $flag = true; 
        while($flag){ 
             if($this->nums != 500){ $flag = false; } 
             if($this->total_nums == 10000){  
                exit(0); //跑完1w个用户就退出,由守护进程启动 
             } 
             $this->getUsers(); 
             $this->checkUserInfo(); 
             $this->updateUserInfo(); 
             sleep(1); //跑完500用户休息1秒,保护用户检测接口      
         } 
    } 
} 
$user = new Users(); 
$user->run(); 
?>

上面是简洁版的PHP脚本,大概意思到了,刚开始的版本是没有$total_nums这个变量,是因为刚开始跑这个脚本的时候,发现只跑完了4w多条脚本就挂球了,后来一看,是因为连接数据库没连上,脚本一直挂在那里。加上这个变量也无法解决这个问题,只是在每次跑完1w个用户之后,PHP脚本退出,再由下面的shell脚本重新启动。

3、shell脚本作为守护进程
我把这个shell脚本加到了crontab里边,每隔1分钟执行一次,这个shell脚本很简单,检测check_users.php是否存在进程id,如果存在,则说明PHP脚本还在运行,shell脚本不做任何操作;如果不存在,则说明PHP脚本已经exit(0)跑完了1w用户退出了,那么shell脚本启动该脚本,进入下一个1w用户名单的检测。
上面我有讲到,如果PHP脚本在连接数据库的时候,无法连接上的时候,PHP会一直挂球在那里,无法退出了。我在shell脚本里加了一个时间检测,当PHP脚本进程存在的时候,计算已经存在了多长时间,如果超过了我预想的时间,则将PHP脚本kill掉,再重启。

开头的举例数据,结果类似如下:
testalexlee,1,0,1
codejia.net,0,0,1
haohdouywaa21,1,1,1
9873aaa,0,1,1
adddwwwd876222,1,0,1

说在最后:以上用户名单数据只是举个栗子,不要太认真,2000w数据,我估计要跑一段时间了,因为检测接口比较慢,接口在接到请求后还要连表,查表,再返回。其实,最好的方法还是直接从接口请求的表拉一份名单出来,再用shell命令处理下很快就有结果了,可是在公司就是这样,有些东西不开放的,你懂的~~~

PHP 相关文章推荐
用缓存实现静态页面的测试
Dec 06 PHP
php数组函数序列 之shuffle()和array_rand() 随机函数使用介绍
Oct 29 PHP
PHP中集成PayPal标准支付的实现方法分享
Feb 06 PHP
php图片缩放实现方法
Feb 20 PHP
关于js和php对url编码的处理方法
Mar 04 PHP
深入理解PHP原理之执行周期分析
Jun 01 PHP
php获得文件夹下所有文件的递归算法的简单实例
Nov 01 PHP
PHP获取路径和目录的方法总结【必看篇】
Mar 04 PHP
Yii框架中使用PHPExcel的方法分析
Jul 25 PHP
Thinkphp5.0 框架实现控制器向视图view赋值及视图view取值操作示例
Oct 12 PHP
基于thinkphp5框架实现微信小程序支付 退款 订单查询 退款查询操作
Aug 17 PHP
详解Laravel制作API接口
May 31 PHP
PHP 伪静态技术原理以及突破原理实现介绍
Jul 12 #PHP
php的$_FILES的临时储存文件与回收机制实测过程
Jul 12 #PHP
php图像处理函数大全(推荐收藏)
Jul 11 #PHP
PHP 获取远程文件大小的3种解决方法
Jul 11 #PHP
深入Nginx + PHP 缓存详解
Jul 11 #PHP
基于PHP中的常用函数回顾
Jul 11 #PHP
PHP 获取文件权限函数介绍
Jul 11 #PHP
You might like
php处理json时中文问题的解决方法
2011/04/12 PHP
9段PHP实用功能的代码推荐
2014/10/14 PHP
PHP iconv()函数字符编码转换的问题讲解
2019/03/22 PHP
Laravel框架集合用法实例浅析
2020/05/14 PHP
javascript检查日期格式的函数[比较全]
2008/10/17 Javascript
网页中返回顶部代码(多种方法)另附注释说明
2013/04/24 Javascript
jQuery中filter()和find()的区别深入了解
2013/09/25 Javascript
jQuery+json实现的简易Ajax调用实例
2015/12/14 Javascript
JavaScript实现显示函数调用堆栈的方法
2016/04/21 Javascript
javascript 广告移动特效的实现代码
2016/06/25 Javascript
微信小程序城市定位的实现实例(获取当前所在国家城市信息)
2017/05/17 Javascript
js轮播图无缝滚动效果
2017/06/17 Javascript
微信小程序结合mock.js实现后台模拟及调试
2019/03/28 Javascript
浅析Python多线程下的变量问题
2015/04/28 Python
Python实现简单的代理服务器
2015/07/25 Python
Numpy中stack(),hstack(),vstack()函数用法介绍及实例
2018/01/09 Python
Python中跳台阶、变态跳台阶与矩形覆盖问题的解决方法
2018/05/19 Python
python学生信息管理系统实现代码
2019/12/17 Python
python 读取二进制 显示图片案例
2020/04/24 Python
Python操作Elasticsearch处理timeout超时
2020/07/17 Python
使用Django的JsonResponse返回数据的实现
2021/01/15 Python
HTTP状态码详解
2021/03/18 杂记
Java基础知识面试要点
2016/07/29 面试题
教师的实习自我鉴定
2013/12/17 职场文书
美术教师自我鉴定
2014/02/12 职场文书
主持词开场白
2014/03/17 职场文书
软件项目开发计划书
2014/05/01 职场文书
党员先锋岗事迹材料
2014/05/08 职场文书
物理学专业自荐信
2014/06/11 职场文书
美术学专业求职信
2014/07/23 职场文书
乡镇创先争优活动总结
2014/08/28 职场文书
工作所在部门证明
2014/09/21 职场文书
2014年国庆节庆祝建国65周年比赛演讲稿
2014/09/21 职场文书
山东省召开党的群众路线教育实践活动总结大会新闻稿
2014/10/21 职场文书
小学班主任工作总结2015
2015/04/07 职场文书
广告文案的撰写技巧(实用干货)
2019/08/23 职场文书