memcache一致性hash的php实现方法


Posted in PHP onMarch 05, 2015

本文实例讲述了memcache一致性hash的php实现方法。分享给大家供大家参考。具体如下:

最近在看一些分布式方面的文章,所以就用php实现一致性hash来练练手,以前一般用的是最原始的hash取模做 分布式,当生产过程中添加或删除一台memcache都会造成数据的全部失效,一致性hash就是为了解决这个问题,把失效数据降到最低,相关资料可以 google一下!

php实现效率有一定的缺失,如果要高效率,还是写扩展比较好

经测试,5个memcache,每个memcache生成100个虚拟节点,set加get1000次,与单个memcache直接set加get慢5倍,所以效率一般,有待优化!

在阅读本文之前,最好知道二分查找法。

实现过程:

memcache的配置 ip+端口+虚拟节点序列号 做hash,使用的是crc32,形成一个闭环。
对要操作的key进行crc32
二分法在虚拟节点环中查找最近的一个虚拟节点
从虚拟节点中提取真实的memcache ip和端口,做单例连接

<?php

class memcacheHashMap {

        private $_node = array();

        private $_nodeData = array();

        private $_keyNode = 0;

        private $_memcache = null;

        //每个物理服务器生成虚拟节点个数 [注:节点数越多,cache分布的均匀性越好,同时set get操作时,也更耗资源,10台物理服务器,采用200较为合理]

        private $_virtualNodeNum = 200;

        private function __construct() {

                $config = array(//五个memcache服务器

                                                '127.0.0.1:11211',

                                                '127.0.0.1:11212',

                                                '127.0.0.1:11213',

                                                '127.0.0.1:11214',

                                                '127.0.0.1:11215'

                                        );

                if (!$config) throw new Exception('Cache config NULL');

                foreach ($config as $key => $value) {

                        for ($i = 0; $i < $this->_virtualNodeNum; $i++) {

                                $this->_node[sprintf("%u", crc32($value . '_' . $i))] = $value . '_' . $i;//循环为每个memcache服务器创建200个虚拟节点

                        }

                }

                ksort($this->_node);//创建出来的1000个虚拟节点按照键名从小到大排序

        }

        //实例化该类

        static public function getInstance() {

                static $memcacheObj = null;

                if (!is_object($memcacheObj)) {

                        $memcacheObj = new self();

                }

                return $memcacheObj;

        }

        //根据传来的键查找到对应虚拟节点的位置

        private function _connectMemcache($key) {

                $this->_nodeData = array_keys($this->_node);//所有的虚拟节点的键的数组

                $this->_keyNode = sprintf("%u", crc32($key));//算出键的hash值

                $nodeKey = $this->_findServerNode();//找出对应的虚拟节点

                //如果超出环,从头再用二分法查找一个最近的,然后环的头尾做判断,取最接近的节点

                if ($this->_keyNode > end($this->_nodeData)) {

                        $this->_keyNode -= end($this->_nodeData);

                        $nodeKey2 = $this->_findServerNode();

                        if (abs($nodeKey2 - $this->_keyNode) < abs($nodeKey - $this->_keyNode))  $nodeKey = $nodeKey2;

                }

                var_dump($this->_node[$nodeKey]);

                list($config, $num) = explode('_', $this->_node[$nodeKey]);

                if (!$config) throw new Exception('Cache config Error');

                if (!isset($this->_memcache[$config])) {

                        $this->_memcache[$config] = new Memcache;

                        list($host, $port) = explode(':', $config);

                        $this->_memcache[$config]->connect($host, $port);

                }

                return $this->_memcache[$config];

        }

        //二分法根据给出的值找出最近的虚拟节点位置

        private function _findServerNode($m = 0, $b = 0) {

            $total = count($this->_nodeData);

            if ($total != 0 && $b == 0) $b = $total - 1;

            if ($m < $b){

                $avg = intval(($m+$b) / 2);

                if ($this->_nodeData[$avg] == $this->_keyNode) return $this->_nodeData[$avg];

                elseif ($this->_keyNode < $this->_nodeData[$avg] && ($avg-1 >= 0)) return $this->_findServerNode($m, $avg-1);

                else return $this->_findServerNode($avg+1, $b);

            }

                if (abs($this->_nodeData[$b] - $this->_keyNode) < abs($this->_nodeData[$m] - $this->_keyNode))  return $this->_nodeData[$b];

                else return $this->_nodeData[$m];

        }

        public function set($key, $value, $expire = 0) {

                return $this->_connectMemcache($key)->set($key, json_encode($value), 0, $expire);

        }

        public function add($key, $value, $expire = 0) {

                return $this->_connectMemcache($key)->add($key, json_encode($value), 0, $expire);

        }

        public function get($key) {

                return json_decode($this->_connectMemcache($key)->get($key), true);

        }

        public function delete($key) {

                return $this->_connectMemcache($key)->delete($key);

        }

}

$runData['BEGIN_TIME'] = microtime(true);

//测试一万次set加get

for($i=0;$i<10000;$i++) {

        $key = md5(mt_rand());

        $b = memcacheHashMap::getInstance()->set($key, time(), 10);

}

var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));

$runData['BEGIN_TIME'] = microtime(true); $m= new Memcache;

$m->connect('127.0.0.1', 11211);

for($i=0;$i<10000;$i++) {

        $key = md5(mt_rand());

        $b = $m->set($key, time(), 0, 10);

}

var_dump(number_format(microtime(true) - $runData['BEGIN_TIME'],6));

?>

希望本文所述对大家的php程序设计有所帮助。

PHP 相关文章推荐
PHP nl2br函数 将换行字符转成 &amp;lt;br&amp;gt;
Aug 21 PHP
PHP的范围解析操作符(::)的含义分析说明
Jul 03 PHP
php数据结构 算法(PHP描述) 简单选择排序 simple selection sort
Aug 09 PHP
Uncaught exception com_exception with message Failed to create COM object
Jan 11 PHP
php中选择什么接口(mysql、mysqli)访问mysql
Feb 06 PHP
php 获取页面中指定内容的实现类
Jan 23 PHP
PHP is_subclass_of函数的一个BUG和解决方法
Jun 01 PHP
使用php批量删除数据库下所有前缀为prefix_的表
Jun 09 PHP
PHP实现链式操作的核心思想
Jun 23 PHP
PHP实现根据时间戳获取周几的方法
Feb 26 PHP
yii2超好用的日期组件和时间组件
May 05 PHP
PHP读取zip文件的方法示例
Nov 17 PHP
PHP将session信息存储到数据库的类实例
Mar 04 #PHP
php微信支付之APP支付方法
Mar 04 #PHP
php支付宝手机网页支付类实例
Mar 04 #PHP
php银联网页支付实现方法
Mar 04 #PHP
php随机抽奖实例分析
Mar 04 #PHP
php二维数组合并及去重复的方法
Mar 04 #PHP
php中get_cfg_var()和ini_get()的用法及区别
Mar 04 #PHP
You might like
PHP 程序授权验证开发思路
2009/07/09 PHP
php中addslashes函数与sql防注入
2014/11/17 PHP
Laravel框架创建路由的方法详解
2019/09/04 PHP
BOOM vs RR BO5 第一场 2.14
2021/03/10 DOTA
javascript 循环调用示例介绍
2013/11/20 Javascript
js控制input输入字符解析
2013/12/27 Javascript
JS实现闪动的title消息提醒效果
2014/06/20 Javascript
JavaScript中的数学运算介绍
2014/12/29 Javascript
jQuery中end()方法用法实例
2015/01/08 Javascript
javascript实现带节日和农历的日历特效
2015/02/01 Javascript
利用CSS3在Angular中实现动画
2016/01/15 Javascript
js 自带的sort() 方法全面了解
2016/08/16 Javascript
Bootstrap框架实现广告轮播效果
2016/11/28 Javascript
Javascript 实现全屏滚动实例代码
2016/12/31 Javascript
Highcharts+NodeJS搭建数据可视化平台示例
2017/01/01 NodeJs
纯javaScript、jQuery实现个性化图片轮播【推荐】
2017/01/08 Javascript
js return返回多个值,通过对象的属性访问方法
2017/02/21 Javascript
基于vue2.0+vuex+localStorage开发的本地记事本示例
2017/02/28 Javascript
javascript随机变色实例代码
2019/10/15 Javascript
Js生成随机数/随机字符串的方法小结【5种方法】
2020/05/27 Javascript
JS+Canvas实现五子棋游戏
2020/08/26 Javascript
简介Django中内置的一些中间件
2015/07/24 Python
python递归删除指定目录及其所有内容的方法
2017/01/13 Python
Python基于pygame模块播放MP3的方法示例
2017/09/30 Python
浅析Python数据处理
2018/05/02 Python
python excel转换csv代码实例
2019/08/26 Python
利用HTML5实现使用按钮控制背景音乐开关
2015/09/21 HTML / CSS
护士试用期自我鉴定
2014/02/08 职场文书
情人节活动策划方案
2014/02/27 职场文书
家长会主持词
2014/03/26 职场文书
投资合作协议书范本
2014/04/17 职场文书
给学校建议书范文
2014/05/13 职场文书
运动会加油稿30字
2015/07/21 职场文书
导游词之平津战役纪念馆
2019/11/04 职场文书
redis哨兵常用命令和监控示例详解
2021/05/27 Redis
MySQL数据库必备之条件查询语句
2021/10/15 MySQL