shell脚本作为保证PHP脚本不挂掉的守护进程实例分享


Posted in PHP onJuly 15, 2013

前几天开始跑一份数据名单,名单需要提供用户名、是否有手机号、是否有邮箱,用户名单我轻易的获取到了,但是,用户名单有2000w之多,并且去检测用户是否有手机号、是否有邮箱必须得通过一个对外开放的安全接口一个一个用户去请求,然后分析返回值才能知道。

下面是我处理的方案:
1、将2000w名单保存到临时数据表
2、用PHP程序每次从该表获取500个用户,检测完后生成SQL update原纪录
3、为了防止PHP程序突然断掉,用shell脚本每隔1分钟检测,PHP挂掉了则重启
我使用shell脚本作为守护进程的原因是,手机与邮箱的检测接口速度慢,不可能在1~2天将2000w用户检测完。

方案详细:
1、临时保存用户名单表users,表结构如下:

CREATE TABLE `users` ( 
  `account` varchar(50) COMMENT '用户名', 
  `has_phone` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有手机号', 
  `has_email` tinyint(3) unsigned NOT NULL default '0' COMMENT '是否有邮箱', 
  `flag` tinyint(3) unsigned  NOT NULL default '0' COMMENT '标志位', 
  PRIMARY KEY  (`account`), 
  KEY `flag` (`flag`) 
 ) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COMMENT='名单表';

我先将2000多w用户名导入到这个临时表,has_phone与has_email这二个字段默认都是0(没有),标志位flag说明该用户是否已经检测完。
下面是一部分表数据:
9873aaa,0,0,0
adddwwwd876222,0,0,0
testalexlee,0,0,0
codejia.net,0,0,0
haohdouywaa21,0,0,0
 
2、PHP脚本check_users.php
将 用户名单导入到表之后,再写一个简单的PHP脚本,思路是这样的:每次循环从表取flag=0的500个用户,然后请求接口判断用户是否有手机号、邮箱, 生成一条SQL,保存到一个SQLS数组里,等500个用户全部检测完了之后,循环SQLS数组,更新表里这500个名单,并将flag标志位设置为1, 表示已经检测完,下次就不获取了。
由于PHP脚本代码较长,这里分享下简单的代码说明:
<?php 
class Users{ 
    private $data; 
    private $sqls; 
    private $nums;         //判断是否有500用户 
    private $total_nums;   //当前已经检测完的用户数量     //每次取500个用户 
    private function getUsers(){...} 
    //检测这500个用户并生成SQL 
    private function checkUserInfo(){...} 
    //更新这500个用户 
    private function updateUserInfo(){...} 
    //运行 
    public function run(){ 
        $flag = true; 
        while($flag){ 
             if($this->nums != 500){ $flag = false; } 
             if($this->total_nums == 10000){  
                exit(0); //跑完1w个用户就退出,由守护进程启动 
             } 
             $this->getUsers(); 
             $this->checkUserInfo(); 
             $this->updateUserInfo(); 
             sleep(1); //跑完500用户休息1秒,保护用户检测接口      
         } 
    } 
} 
$user = new Users(); 
$user->run(); 
?>

上面是简洁版的PHP脚本,大概意思到了,刚开始的版本是没有$total_nums这个变量,是因为刚开始跑这个脚本的时候,发现只跑完了4w多条脚本就挂球了,后来一看,是因为连接数据库没连上,脚本一直挂在那里。加上这个变量也无法解决这个问题,只是在每次跑完1w个用户之后,PHP脚本退出,再由下面的shell脚本重新启动。

3、shell脚本作为守护进程
我把这个shell脚本加到了crontab里边,每隔1分钟执行一次,这个shell脚本很简单,检测check_users.php是否存在进程id,如果存在,则说明PHP脚本还在运行,shell脚本不做任何操作;如果不存在,则说明PHP脚本已经exit(0)跑完了1w用户退出了,那么shell脚本启动该脚本,进入下一个1w用户名单的检测。
上面我有讲到,如果PHP脚本在连接数据库的时候,无法连接上的时候,PHP会一直挂球在那里,无法退出了。我在shell脚本里加了一个时间检测,当PHP脚本进程存在的时候,计算已经存在了多长时间,如果超过了我预想的时间,则将PHP脚本kill掉,再重启。

开头的举例数据,结果类似如下:
testalexlee,1,0,1
codejia.net,0,0,1
haohdouywaa21,1,1,1
9873aaa,0,1,1
adddwwwd876222,1,0,1

说在最后:以上用户名单数据只是举个栗子,不要太认真,2000w数据,我估计要跑一段时间了,因为检测接口比较慢,接口在接到请求后还要连表,查表,再返回。其实,最好的方法还是直接从接口请求的表拉一份名单出来,再用shell命令处理下很快就有结果了,可是在公司就是这样,有些东西不开放的,你懂的~~~

PHP 相关文章推荐
PHP 字符串 小常识
Jun 05 PHP
php smarty截取中文字符乱码问题?gb2312/utf-8
Nov 07 PHP
Destoon旺旺无法正常显示,点击提示“会员名不存在”的解决办法
Jun 21 PHP
php switch语句多个值匹配同一代码块应用示例
Jul 29 PHP
CI框架中cookie的操作方法分析
Dec 12 PHP
PHP中使用file_get_contents抓取网页中文乱码问题解决方法
Dec 17 PHP
PHP生成指定随机字符串的简单实现方法
Apr 01 PHP
PHP5多态性与动态绑定介绍
Apr 03 PHP
一波PHP中cURL库的常见用法代码示例
May 06 PHP
thinkPHP交易详情查询功能详解
Dec 02 PHP
php表单处理操作
Nov 16 PHP
laravel 解决后端无法获取到前端Post过来的值问题
Oct 22 PHP
PHP 伪静态技术原理以及突破原理实现介绍
Jul 12 #PHP
php的$_FILES的临时储存文件与回收机制实测过程
Jul 12 #PHP
php图像处理函数大全(推荐收藏)
Jul 11 #PHP
PHP 获取远程文件大小的3种解决方法
Jul 11 #PHP
深入Nginx + PHP 缓存详解
Jul 11 #PHP
基于PHP中的常用函数回顾
Jul 11 #PHP
PHP 获取文件权限函数介绍
Jul 11 #PHP
You might like
分页显示Oracle数据库记录的类之一
2006/10/09 PHP
图书管理程序(一)
2006/10/09 PHP
PHP利用REFERER根居访问来地址进行页面跳转
2013/09/28 PHP
PHP框架自动加载类文件原理详解
2017/06/06 PHP
网页运行时提示对象不支持abigimage属性或方法
2014/08/10 Javascript
JavaScript控制网页平滑滚动到指定元素位置的方法
2015/04/17 Javascript
jQuery结合AJAX之在页面滚动时从服务器加载数据
2015/06/30 Javascript
详解JavaScript操作HTML DOM的基本方式
2015/10/21 Javascript
JS实现的倒计时效果实例(2则实例)
2015/12/23 Javascript
基于JavaScript实现简单的随机抽奖小程序
2016/01/05 Javascript
js判断登陆用户名及密码是否为空的简单实例
2016/05/16 Javascript
RequireJS多页面应用实例分析
2016/06/29 Javascript
一步一步封装自己的HtmlHelper组件BootstrapHelper(三)
2016/09/14 Javascript
vue.js+boostrap项目实践(案例详解)
2016/09/21 Javascript
js 转json格式的字符串为对象或数组(前后台)的方法
2016/11/02 Javascript
微信端开发--登录小程序步骤
2017/01/11 Javascript
如何解决vue与传统jquery插件冲突
2017/03/20 Javascript
详解用webpack2.0构建vue2.0超详细精简版
2017/04/05 Javascript
微信小程序中this.data与this.setData的区别详解
2018/09/17 Javascript
关于Vue源码vm.$watch()内部原理详解
2019/04/26 Javascript
解决VUE mounted 钩子函数执行时 img 未加载导致页面布局的问题
2020/07/27 Javascript
python正则表达式re模块详解
2014/06/25 Python
Python中的Descriptor描述符学习教程
2016/06/02 Python
python中requests爬去网页内容出现乱码问题解决方法介绍
2017/10/25 Python
使用PyQt4 设置TextEdit背景的方法
2019/06/14 Python
Python 数据可视化pyecharts的使用详解
2019/06/26 Python
python按键按住不放持续响应的实例代码
2019/07/17 Python
django 使用 PIL 压缩图片的例子
2019/08/16 Python
keras 实现轻量级网络ShuffleNet教程
2020/06/19 Python
python os.rename实例用法详解
2020/12/06 Python
HTML5安全介绍之内容安全策略(CSP)简介
2012/07/10 HTML / CSS
波兰在线儿童和婴儿用品零售商:pinkorblue
2019/06/29 全球购物
校园学雷锋活动月总结
2014/03/09 职场文书
表彰大会主持词
2014/03/26 职场文书
2015年招商引资工作总结
2015/04/25 职场文书
2015年秋季开学典礼校长致辞
2015/07/16 职场文书