PHP使用SWOOLE扩展实现定时同步 MySQL 数据


Posted in PHP onApril 09, 2017

南宁公司和几个分公司之间都使用了呼叫系统,然后现在需要做一个呼叫通话数据分析,由于分公司的呼叫服务器是在内网,通过技术手段映射出来,分公司到南宁之间的网络不稳定,所以需要把分公司的通话数据同步到南宁。

本身最简单的方法就是直接配置MySQL的主从同步就可以同步数据到南宁来了。但是销售呼叫系统那边的公司不给MySQL权限我们。 所以这个方法只能放弃了。

于是我们干脆的想,使用PHP来实现定时一个简易的PHP定时同步工具,然后PHP进程常驻后台运行,所以首先就先到了一个PHP组件:SWOOLE,经过讨论,分公司的每天半天生成的数据量最大在5000条左右,所以这个方案是可行,就这样干。

我们使用PHP SWOOLE 做一个异步的定时任务系统。

本身MySQL数据库的主从同步是通过解析Master库中的binary-log来进行同步数据到从库的。然而我们使用PHP来同步数据的时候,那么只能从master库分批查询数据,然后插入到南宁的slave库来了。

这里我们使用的框架是 ThinkPHP 3.2 .

首先安装PHP扩展: SWOOLE,因为没有使用到特别的功能,所以这里我们使用pecl来快速安装:

pecl install swoole

安装完成后在 php.ini 里面加入 extension="swoole.so" 安装完成后,我们使用 phpinfo() 来检查是否成功了.

PHP使用SWOOLE扩展实现定时同步 MySQL 数据

安装成功了,我们就来写业务.

服务端

1、首先启动一个后台的服务端,监听端口9501

public function index()
{
 $serv = new \swoole_server("0.0.0.0", 9501);
 $serv->set([
  'worker_num' => 1,//一般设置为服务器CPU数的1-4倍
  'task_worker_num' => 8,//task进程的数量
  'daemonize' => 1,//以守护进程执行
  'max_request' => 10000,//最大请求数量
  "task_ipc_mode " => 2 //使用消息队列通信,并设置为争抢模式
 ]);
 $serv->on('Receive', [$this, 'onReceive']);//接收任务,并投递
 $serv->on('Task', [$this, 'onTask']);//可以在这个方法里面处理任务
 $serv->on('Finish', [$this, 'onFinish']);//任务完成时候调用
 $serv->start();
}

2、接收和投递任务

public function onReceive($serv, $fd, $from_id, $data)
{
 //使用json_decode 解析任务数据
 $areas = json_decode($data,true);
 foreach ($areas as $area){
  //投递异步任务
  $serv->task($area);
 }
}

3、任务执行,数据从master库查询和写入到slave数据库

public function onTask($serv, $task_id, $from_id, $task_data)
{
 $area = $task_data;//参数是地区编号
 $rows = 50; //每页多少条
 //主库地址,根据参数地区($area)编号切换master数据库连接
 //从库MySQL实例,根据参数地区($area)编号切换slave数据库连接
 //由于程序是常驻内存的,所以MySQL连接可以使用长连接,然后重复利用。要使用设计模式的,可以使用对象池模式
 Code......

 //master 库为分公司的数据库,slave库为数据同步到南宁后的从库
 Code......

 //使用$sql获取从库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $slaveMaxIncrementId = ...;

 //使用$sql获取主库中最大的自增: SELECT MAX(id) AS maxid FROM ss_cdr_cdr_info limit 1
 $masterMaxIncrementId = ...;

 //如果相等的就不同步了
 if($slaveMaxIncrementId >= $masterMaxIncrementId){
  return false;
 }

 //根据条数计算页数
 $dataNumber = ceil($masterMaxIncrementId - $slaveMaxIncrementId);
 $eachNumber = ceil($dataNumber / $rows);
 $left = 0;

 //根据页数来进行分批循环进行写入,要记得及时清理内存
 for ($i = 0; $i < $eachNumber; $i++) {
  $left = $i == 0 ? $slaveMaxIncrementId : $left + $rows;
  $right = $left + $rows;
  //生成分批查询条件
  //$where = "id > $left AND <= $right";
  $masterData = ...;//从主库查询数据
  $slaveLastInsertId = ...;//插入到从库
  unset($masterData,$slaveLastInsertId);
 }

 echo "New AsyncTask[id=$task_id]".PHP_EOL;
 $serv->finish("$area -> OK");
}

4、任务完成时候调用

public function onFinish($serv, $task_id, $task_data)
{
 echo "AsyncTask[$task_id] Finish: $task_data".PHP_EOL;
}

客户端推送任务

到此基本完成,剩下来我们来写客户端任务推送

public function index()
{
 $client = new \swoole_client(SWOOLE_SOCK_TCP);
 if (!$client->connect('127.0.0.1', 9501, 1)) {
  throw new Exception('链接SWOOLE服务错误');
 }
 $areas = json_encode(['liuzhou','yulin','beihai','guilin']);
 //开始遍历检查
 $client->send($areas);
 echo "任务发送成功".PHP_EOL;
}

至此基本完成了,剩下的我们来写一个shell脚本定时执行:/home/wwwroot/sync_db/crontab/send.sh

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

# 定时推送异步的数据同步任务
/usr/bin/php /home/wwwroot/sync_db/server.php home/index/index

使用crontab定时任务,我们把脚本加入定时任务

#设置每天12:30执行数据同步任务
30 12 * * * root /home/wwwroot/sync_db/crontab/send.sh
#设置每天19:00执行数据同步任务
0 19 * * * root /home/wwwroot/sync_db/crontab/send.sh

Tips: 最好推荐在里面加入写日志操作,这样好知道是任务推送、执行是否成功。

至此基本完成,程序有待优化~~~,各位看客有更好的方法欢迎提出。

PHP 相关文章推荐
杏林同学录(四)
Oct 09 PHP
php 三维饼图的实现代码
Sep 28 PHP
PHP6 mysql连接方式说明
Feb 09 PHP
QQ登录 PHP OAuth示例代码
Jul 20 PHP
php include类文件超时问题处理
Feb 06 PHP
PHP可变变量学习小结
Nov 29 PHP
php 解决substr()截取中文字符乱码问题
Jul 18 PHP
浅谈mysql_query()函数的返回值问题
Sep 05 PHP
PHP数据对象PDO操作技巧小结
Sep 27 PHP
遍历指定目录,并存储目录内所有文件属性信息的php代码
Oct 28 PHP
PHP实现更改hosts文件的方法示例
Aug 08 PHP
php从数据库中获取数据用ajax传送到前台的方法
Aug 20 PHP
CentOS系统中PHP安装扩展的方式汇总
Apr 09 #PHP
PHP将身份证正反面两张照片合成一张图片的代码
Apr 08 #PHP
ThinkPHP中调用PHPExcel的实现代码
Apr 08 #PHP
yii框架无限极分类的实现方法
Apr 08 #PHP
PHP下载远程图片的几种方法总结
Apr 07 #PHP
POST一个JSON格式的数据给Restful服务实例详解
Apr 07 #PHP
详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)
Apr 07 #PHP
You might like
配置Apache2.2+PHP5+CakePHP1.2+MySQL5运行环境
2009/04/25 PHP
php学习笔记之面向对象
2014/11/08 PHP
smarty中改进truncate使其支持中文的方法
2016/05/30 PHP
你所要知道JS(DHTML)中的一些技巧
2007/01/09 Javascript
[转]JS宝典学习笔记
2007/02/07 Javascript
javascript下有关dom以及xml节点访问兼容问题
2007/11/26 Javascript
多次注册事件会导致一个事件被触发多次的解决方法
2013/08/12 Javascript
javaScript实现可缩放的显示区效果代码
2015/10/26 Javascript
详解javascript表单的Ajax提交插件的使用
2016/12/29 Javascript
Node.js与Sails redis组件的使用教程
2017/02/14 Javascript
bootstrap table服务端实现分页效果
2017/08/10 Javascript
BootStrap 标题设置跨行无效的解决方法
2017/10/25 Javascript
vue实现axios图片上传功能
2019/08/20 Javascript
Python装饰器的函数式编程详解
2015/02/27 Python
Python的Django框架使用入门指引
2015/04/15 Python
Python写入CSV文件的方法
2015/07/08 Python
Python网络爬虫项目:内容提取器的定义
2016/10/25 Python
python:socket传输大文件示例
2017/01/18 Python
详解Django的CSRF认证实现
2018/10/09 Python
超简单使用Python换脸实例
2019/03/27 Python
Python使用__new__()方法为对象分配内存及返回对象的引用示例
2019/09/20 Python
jupyter 实现notebook中显示完整的行和列
2020/04/09 Python
美国时装品牌:Nautica(诺帝卡)
2016/08/28 全球购物
施华洛世奇英国官网:SWAROVSKI英国
2017/03/13 全球购物
西班牙香水和化妆品购物网站:Arenal Perfumerías
2019/03/01 全球购物
阿迪达斯希腊官方网上商店:adidas希腊
2019/04/06 全球购物
美国购买隐形眼镜网站:Lenses For Less
2020/07/05 全球购物
新浪网技术部笔试题
2016/08/26 面试题
网络维护中文求职信
2014/01/03 职场文书
《尊严》教学反思
2014/02/11 职场文书
个性与发展自我评价
2014/02/11 职场文书
婚庆司仪开场白
2015/05/29 职场文书
大学生村官入党自传
2015/06/26 职场文书
闭幕词的写作格式与范文!
2019/06/24 职场文书
python函数指定默认值的实例讲解
2021/03/29 Python
详解java如何集成swagger组件
2021/06/21 Java/Android