如何用PHP实现分布算法之一致性哈希算法


Posted in PHP onMay 26, 2021

传统算法缺陷

对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。

传统算法一般是将数据的键用算法映射出数字,对其用服务器数量取模,并根据结果选择要存储的服务器。其能达到数据平均分布和查找定位准确的要求,并且优点是算法简单,存取时的计算量都比较小(在数据非常大时才会明显)。

但其有一个致命缺点,即一个服务器宕机后的影响很大,我们可以推算一下一台服务器宕机后的影响:

  • 原有数据大部分丢失:服务器数量减少一台,取模数减1导致取模值错乱,如果以前有N台服务器,那么宕机后数据只有1/(n*(n-1))的数据能够被准确查找到。
  • 负载无法均衡导致集体宕机:如果没有及时处理宕机的服务器,那么他的存储任务将会被顺序积累给它的下一个服务器,那么下一个服务器也会很快被压致宕机,如此一来,服务器组很快会集体宕机。

算法思想

一致性哈希算法是使用一定的哈希算法,将大量的数据平均映射到不同的存储目标上,在保证其查找准确性的同时,还要考虑其中一个存储目标失效时,其他存储目标对其责任存储内容的负载均衡。

一致性哈希算法的实现思想不难理解,如图:

如何用PHP实现分布算法之一致性哈希算法

1.用一定的哈希算法(哈希函数等)将一组服务器的多个(数目自己设定)节点随机映射分散到0-232之间,由于其随机分布,保证了其数据平均分布的特点;

2.用同一算法计算要存储数据的键,根据服务器节点确定其存储的服务器结点,由于每次用同一算法计算,所以得出的结果是相同的,使其查找定位准确;

3.查找数据时,再次用同一算法计算键,并查找服务器的数据结点;

4.如果有一个服务器宕机,消除其服务器结点,并将数据放在下一个结点上,由于随机节点位置的随机性,所以数据被其他服务器平均负载,也就降低了宕机影响。

需要注意的是,这个环形空间只是一个虚拟空间,只是表示了服务器存储的范围和数据的落点,在进行存储时,我们还要通过查找到的落点,将数据放入对应的服务器进行查改。

算法实现

编程语言我们使用PHP来实现一致性哈希算法:

我们主要用到以下函数:

int crc32 ( string $str )
生成 str 的 32 位循环冗余校验码多项式。这通常用于检查传输的数据是否完整。

string sprintf ( string $format [, mixed $args [, mixed $... ]] )
通过传入的格式产生字符串的特定格式形态。

实现如下:

class Consistance
{
    protected $num=24;          //设定每一个服务器的节点数,数量越多,宕机时服务器负载就会分布得越平均,但也增大数据查找消耗。
    protected $nodes=array();   //当前服务器组的结点列表。

    //计算一个数据的哈希值,用以确定位置
    public function make_hash($data)
    {
        return sprintf('%u',crc32($data));
    }

    //遍历当前服务器组的节点列表,确定需要存储/查找的服务器
    public function set_loc($data)
    {
        $loc=self::make_hash($data);
        foreach ($this->nodes as $key => $val)
        {
            if($loc<=$key)
            {
                return $val;
            }
        }
    }

    //添加一个服务器,将其结点添加到服务器组的节点列表内。
    public function add_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            $this->nodes[$key]=$host;   
        }
        ksort($this->nodes);        //对结点排序,这样便于查找。
    }

    //删除一个服务器,并将其对应节点从服务器组的节点列表内移除。
    public function remove_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            unset($this->nodes[$key]);
        }
    }
}

我们用以下代码进行测试:

如何用PHP实现分布算法之一致性哈希算法

结果如下:

如何用PHP实现分布算法之一致性哈希算法

总结

算法的实现到此,我们还可以对算法进行优化,如在服务器数量和每个服务器节点数都很多的情况下,对查找结点的过程进行优化,因为排序好的,可以用二分法进行查找,加快查询效率,这些,仁智各见吧。

另外,虽然nginx服务器有一致性算法的插件,memcache和redis也都有相应的插件,MySQL的中间件有相应的集成,但是了解一致性哈希算法也很有意义。而且,我们也可以对其灵活使用,如对文件等进行分布式管理等等。

以上就是如何用PHP实现分布算法之一致性哈希算法的详细内容,更多关于用PHP实现分布算法之一致性哈希算法的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
PHP输出控制功能在简繁体转换中的应用
Oct 09 PHP
PHP ajax 分页类代码
Nov 13 PHP
php 获取本机外网/公网IP的代码
May 09 PHP
PHP封装分页函数实现文本分页和数字分页
Oct 23 PHP
CodeIgniter使用smtp服务发送html邮件的方法
Jun 10 PHP
PHP如何将log信息写入服务器中的log文件
Jul 29 PHP
PHP MVC框架路由学习笔记
Mar 02 PHP
总结PHP中DateTime的常用方法
Aug 11 PHP
如何使用php等比例缩放图片
Oct 12 PHP
Laravel构建即时应用的一种实现方法详解
Aug 31 PHP
Laravel框架实现的上传图片到七牛功能详解
Sep 06 PHP
如何用PHP websocket实现网页实时聊天
May 26 PHP
如何用PHP实现多线程编程
May 26 #PHP
如何用PHP websocket实现网页实时聊天
详解PHP用mb_string处理windows中文字符
May 26 #PHP
详解PHP服务器如何在有限的资源里最大提升并发能力
详解PHP设计模式之依赖注入模式
阿里云服务器搭建Php+Apache运行环境的详细过程
php+laravel 扫码二维码签到功能
You might like
Discuz板块横排显示图片的实现方法
2007/05/28 PHP
PHP设计模式之迭代器模式的深入解析
2013/06/13 PHP
thinkphp的URL路由规则与配置实例
2014/11/26 PHP
Zend Framework教程之Autoloading用法详解
2016/03/08 PHP
PHP htmlentities()函数用法讲解
2019/02/25 PHP
Laravel框架实现多数据库连接操作详解
2019/07/12 PHP
PHP实现随机发扑克牌
2020/04/22 PHP
Javascript 读后台cookie代码
2008/09/15 Javascript
Microsoft Ajax Minifier 压缩javascript的方法
2010/03/05 Javascript
Jquery的hide及toggle方法让超链接慢慢消失
2013/09/06 Javascript
js设置组合快捷键/tabindex功能的方法
2013/11/21 Javascript
点击弹出层效果&amp;弹出窗口后网页背景变暗效果的实现代码
2014/02/10 Javascript
使用Nodejs开发微信公众号后台服务实例
2014/09/03 NodeJs
JS实现在页面随时自定义背景颜色的方法
2015/02/27 Javascript
javascript制作的简单注册模块表单验证
2015/04/13 Javascript
JavaScript编程中window的location与history对象详解
2015/10/26 Javascript
javascript字符串对象常用api函数小结(连接,替换,分割,转换等)
2016/09/20 Javascript
基于js 各种排序方法和sort方法的区别(详解)
2018/01/03 Javascript
react 创建单例组件的方法
2018/04/26 Javascript
jQuery实现ajax的嵌套请求案例分析
2019/02/16 jQuery
Vue多环境代理配置方法思路详解
2019/06/21 Javascript
纯异步nodejs文件夹(目录)复制功能
2019/09/03 NodeJs
浅谈Python2、Python3相对路径、绝对路径导入方法
2018/06/22 Python
解决PyCharm同目录下导入模块会报错的问题
2018/10/13 Python
Python 实现将数组/矩阵转换成Image类
2020/01/09 Python
python实现猜数游戏
2020/03/27 Python
Python Pandas 对列/行进行选择,增加,删除操作
2020/05/17 Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
2020/07/28 Python
高中的自我鉴定
2013/12/16 职场文书
安全在我心中演讲稿
2014/09/01 职场文书
汽车机电维修工求职信
2014/09/30 职场文书
县级领导干部开展党的群众路线教育实践活动工作汇报
2014/10/25 职场文书
优秀团员事迹材料
2014/12/25 职场文书
给老婆的检讨书1000字
2015/01/01 职场文书
委托收款证明
2015/06/23 职场文书
python使用pywinauto驱动微信客户端实现公众号爬虫
2021/05/19 Python