使用Zookeeper分布式部署PHP应用程序


Posted in PHP onMarch 15, 2019

Zookper是一种分布式的,开源的,应用于分布式应用的协作服务。它提供了一些简单的操作,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。Zookper很容易编程接入,它使用了一个和文件树结构相似的数据模型。

虽然ZooKeeper是一个Java应用程序,但C也可以使用。这里就有个PHP的扩展,你可以从PECL中下载,或从GitHub中直接获取PHP-ZooKeeper。

要使用该扩展你首先要安装ZooKeeper。可以从官方网站下载。

$ tar zxfv zookeeper-3.4.5.tar.gz
$ cd zookeeper-3.4.5/src/c
$ ./configure --prefix=/usr/
$ make
$ sudo make install

这样就会安装ZooKeeper的库和头文件。现在准备编译PHP扩展。

$ git clone https://github.com/andreiz/php-zookeeper.git
$ cd php-zookeeper
$ phpize
$ ./configure
$ make
$ sudo make install

将“zookeeper.so”添加到PHP配置中。

$ vim /etc/php5/cli/conf.d/20-zookeeper.ini

因为我不需要运行在web服务环境下,所以这里我只编辑了CLI的配置。将下面的行复制到ini文件中。

extension=zookeeper.so

使用如下命令来确定扩展是否已起作用。

$ php -m | grep zookeeper
zookeeper

现在是时候运行ZooKeeper了。目前唯一还没有做的是配置。创建一个用于存放所有service数据的目录。

$ mkdir /home/you-account/zoo
$ cd
$ cd zookeeper-3.4.5/
$ cp conf/zoo_sample.cfg conf/zoo.cfg
$ vim conf/zoo.cfg

找到名为“dataDir”的属性,将其指向“/home/you-account/zoo”目录。

$ bin/zkServer.sh start
$ bin/zkCli.sh -server 127.0.0.1:2181
[zk: 127.0.0.1:2181(CONNECTED) 14] create /test 1
Created /test
[zk: 127.0.0.1:2181(CONNECTED) 19] ls /
[test, zookeeper]

此时,你已成功连到了ZooKeeper,并创建了一个名为“/test”的znode(稍后我们会用到)。ZooKeeper以树形结构保存数据。这很类似于文件系统,但“文件夹”(译者注:这里指非最底层的节点)又和文件很像。znode是ZooKeeper保存的实体。Node(节点)的说法很容易被混淆,所以为了避免混淆这里使用了znode。

因为我们稍后还会使用,所以这里我们让客户端保持连接状态。开启一个新窗口,并创建一个zookeeperdemo1.php文件。

<?php
class ZookeeperDemo extends Zookeeper {
 public function watcher( $i, $type, $key ) {
  echo "Insider Watcher\n";
  // Watcher gets consumed so we need to set a new one
  $this->get( '/test', array($this, 'watcher' ) );
 }
}
$zoo = new ZookeeperDemo('127.0.0.1:2181');
$zoo->get( '/test', array($zoo, 'watcher' ) );
while( true ) {
 echo '.';
 sleep(2);
}

现在运行该脚本。

$ php zookeeperdemo1.php

此处应该会每隔2秒产生一个点。现在切换到ZooKeeper客户端,并更新“/test”值。

[zk: 127.0.0.1:2181(CONNECTED) 20] set /test foo

这样就会静默触发PHP脚本中的“Insider Watcher”消息。怎么会这样的?

ZooKeeper提供了可以绑定在znode的监视器。如果监视器发现znode发生变化,该service会立即通知所有相关的客户端。这就是PHP脚本如何知道变化的。Zookeeper::get方法的第二个参数是回调函数。当触发事件时,监视器会被消费掉,所以我们需要在回调函数中再次设置监视器。

现在你可以准备创建分布式应用程序了。其中的挑战是让这些独立的程序决定哪个(是leader)协调它们的工作,以及哪些(是worker)需要执行。这个处理过程叫做leader选举,在ZooKeeper Recipes and Solutions你能看到相关的实现方法。

这里简单来说就是,每个处理(或服务器)紧盯着相邻的那个处理(或服务器)。如果一个已被监视的处理(也即Leader)退出或者崩溃了,监视程序就会查找其相邻(此时最老)的那个处理作为Leader。

在真实的应用程序中,leader会给worker分配任务、监控进程和保存结果。这里为了简化,我跳过了这些部分。

创建一个新的PHP文件,命名为worker.php。

<?php
class Worker extends Zookeeper {
 const CONTAINER = '/cluster';
 protected $acl = array(
          array(
           'perms' => Zookeeper::PERM_ALL,
           'scheme' => 'world',
           'id' => 'anyone' ) );
 private $isLeader = false;
 private $znode;
 public function __construct( $host = '', $watcher_cb = null, $recv_timeout = 10000 ) {
  parent::__construct( $host, $watcher_cb, $recv_timeout );
 }
 public function register() {
  if( ! $this->exists( self::CONTAINER ) ) {
   $this->create( self::CONTAINER, null, $this->acl );
  }
  $this->znode = $this->create( self::CONTAINER . '/w-',
                 null,
                 $this->acl,
                 Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );
  $this->znode = str_replace( self::CONTAINER .'/', '', $this->znode );
  printf( "I'm registred as: %s\n", $this->znode );
  $watching = $this->watchPrevious();
  if( $watching == $this->znode ) {
   printf( "Nobody here, I'm the leader\n" );
   $this->setLeader( true );
  }
  else {
   printf( "I'm watching %s\n", $watching );
  }
 }
 public function watchPrevious() {
  $workers = $this->getChildren( self::CONTAINER );
  sort( $workers );
  $size = sizeof( $workers );
  for( $i = 0 ; $i < $size ; $i++ ) {
   if( $this->znode == $workers[ $i ] ) {
    if( $i > 0 ) {
     $this->get( self::CONTAINER . '/' . $workers[ $i - 1 ], array( $this, 'watchNode' ) );
     return $workers[ $i - 1 ];
    }
    return $workers[ $i ];
   }
  }
  throw new Exception( sprintf( "Something went very wrong! I can't find myself: %s/%s",
             self::CONTAINER,
             $this->znode ) );
 }
 public function watchNode( $i, $type, $name ) {
  $watching = $this->watchPrevious();
  if( $watching == $this->znode ) {
   printf( "I'm the new leader!\n" );
   $this->setLeader( true );
  }
  else {
   printf( "Now I'm watching %s\n", $watching );
  }
 }
 public function isLeader() {
  return $this->isLeader;
 }
 public function setLeader($flag) {
  $this->isLeader = $flag;
 }
 public function run() {
  $this->register();
  while( true ) {
   if( $this->isLeader() ) {
    $this->doLeaderJob();
  }
  else {
   $this->doWorkerJob();
  }
   sleep( 2 );
  }
 }
 public function doLeaderJob() {
  echo "Leading\n";
 }
 public function doWorkerJob() {
  echo "Working\n";
 }
}
$worker = new Worker( '127.0.0.1:2181' );
$worker->run();

打开至少3个终端,在每个终端中运行以下脚本:

# term1
$ php worker.php
I'm registred as: w-0000000001
Nobody here, I'm the leader
Leading
# term2
$ php worker.php
I'm registred as: w-0000000002
I'm watching w-0000000001
Working
# term3
$ php worker.php
I'm registred as: w-0000000003
I'm watching w-0000000002
Working

现在模拟Leader崩溃的情形。使用Ctrl+c或其他方法退出第一个脚本。刚开始不会有任何变化,worker可以继续工作。后来,ZooKeeper会发现超时,并选举出新的leader。

虽然这些脚本很容易理解,但是还是有必要对已使用的Zookeeper标志作注释。

$this->znode = $this->create( self::CONTAINER . '/w-',
               null,
               $this->acl,
               Zookeeper::EPHEMERAL | Zookeeper::SEQUENCE );

每个znode都是EPHEMERAL和SEQUENCE的。

EPHEMRAL代表当客户端失去连接时移除该znode。这就是为何PHP脚本会知道超时。SEQUENCE代表在每个znode名称后添加顺序标识。我们通过这些唯一标识来标记worker。

在PHP部分还有些问题要注意。该扩展目前还是beta版,如果使用不当很容易发生segmentation fault。比如,不能传入普通函数作为回调函数,传入的必须为方法。我希望更多PHP社区的同仁可以看到Apache ZooKeeper的好,同时该扩展也会获得更多的支持。

ZooKeeper是一个强大的软件,拥有简洁和简单的API。由于文档和示例都做的很好,任何人都可以很容易的编写分布式软件。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

PHP 相关文章推荐
处理php自动反斜杠的函数代码
Jan 05 PHP
php环境无法上传文件的解决方法
Apr 30 PHP
php目录遍历函数opendir用法实例
Nov 20 PHP
symfony表单与页面实现技巧
Jan 26 PHP
php计算到指定日期还有多少天的方法
Apr 14 PHP
php返回当前日期或者指定日期是周几
May 21 PHP
ucenter中词语过滤原理分析
Jul 13 PHP
Yii2中事务的使用实例代码详解
Sep 07 PHP
PHP两种实现无级递归分类的方法
Mar 02 PHP
使用PHPStorm+XDebug搭建单步调试环境
Nov 19 PHP
Yii框架中用response保存cookie,用request读取cookie的原理解析
Sep 04 PHP
php生成HTML文件的类方法
Oct 11 PHP
php根据命令行参数生成配置文件详解
Mar 15 #PHP
详解PHP的抽象类和抽象方法以及接口总结
Mar 15 #PHP
PHP基于面向对象封装的分页类示例
Mar 15 #PHP
浅谈PHP无限极分类原理
Mar 14 #PHP
详解PHP队列的实现
Mar 14 #PHP
PHP精确到毫秒秒杀倒计时实例详解
Mar 14 #PHP
PHP的简单跳转提示的实现详解
Mar 14 #PHP
You might like
PHP中FTP相关函数小结
2016/07/15 PHP
javascript错误的认识不用关心内存管理
2012/12/15 Javascript
jquery ajax 调用失败的原因示例介绍
2013/09/27 Javascript
javascript实现根据3原色制作颜色选择器的方法
2015/07/17 Javascript
jQuery实现自定义右键菜单的树状菜单效果
2015/09/02 Javascript
简单的分页代码js实现
2016/05/17 Javascript
AngularJS入门教程之数据绑定原理详解
2016/11/02 Javascript
手机移动端实现 jquery和HTML5 Canvas的幸运大奖盘特效
2016/12/06 Javascript
详谈jQuery中的一些正则匹配表达式
2017/03/08 Javascript
ES6新特性之模块Module用法详解
2017/04/01 Javascript
基于vue监听滚动事件实现锚点链接平滑滚动的方法
2018/01/17 Javascript
利用Angular2的Observables实现交互控制的方法
2018/12/27 Javascript
基于JavaScript实现大文件上传后端代码实例
2020/08/18 Javascript
vue中template的三种写法示例
2020/10/21 Javascript
js实现有趣的倒计时效果
2021/01/19 Javascript
[01:14]2014DOTA2展望TI 剑指西雅图newbee战队专访
2014/06/30 DOTA
[02:28]DOTA2亚洲邀请赛附加赛 RECAP赛事回顾
2015/01/29 DOTA
[41:52]DOTA2-DPC中国联赛 正赛 CDEC vs Dynasty BO3 第二场 2月22日
2021/03/11 DOTA
python检测远程端口是否打开的方法
2015/03/14 Python
把MySQL表结构映射为Python中的对象的教程
2015/04/07 Python
一些Python中的二维数组的操作方法
2015/05/02 Python
Python PyQt5实现的简易计算器功能示例
2017/08/23 Python
Python实现的排列组合计算操作示例
2017/10/13 Python
Python学生信息管理系统修改版
2018/03/13 Python
scrapy-redis的安装部署步骤讲解
2019/02/27 Python
python爬虫beautifulsoup解析html方法
2020/12/07 Python
python连接手机自动搜集蚂蚁森林能量的实现代码
2021/02/24 Python
编程输出如下图形
2013/11/24 面试题
十佳青年个人事迹材料
2014/01/28 职场文书
初中同学聚会邀请函
2014/02/03 职场文书
新教师培训方案
2014/06/08 职场文书
学校教代会开幕词
2016/03/04 职场文书
受欢迎的自荐信,就这么写!
2019/04/19 职场文书
小公司融资,商业计划书的8切记
2019/07/15 职场文书
MySQL分区表管理命令汇总
2022/03/21 MySQL
利用Apache Common将java对象池化的问题
2022/06/16 Servers