如何用PHP实现分布算法之一致性哈希算法


Posted in PHP onMay 26, 2021

传统算法缺陷

对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。

传统算法一般是将数据的键用算法映射出数字,对其用服务器数量取模,并根据结果选择要存储的服务器。其能达到数据平均分布和查找定位准确的要求,并且优点是算法简单,存取时的计算量都比较小(在数据非常大时才会明显)。

但其有一个致命缺点,即一个服务器宕机后的影响很大,我们可以推算一下一台服务器宕机后的影响:

  • 原有数据大部分丢失:服务器数量减少一台,取模数减1导致取模值错乱,如果以前有N台服务器,那么宕机后数据只有1/(n*(n-1))的数据能够被准确查找到。
  • 负载无法均衡导致集体宕机:如果没有及时处理宕机的服务器,那么他的存储任务将会被顺序积累给它的下一个服务器,那么下一个服务器也会很快被压致宕机,如此一来,服务器组很快会集体宕机。

算法思想

一致性哈希算法是使用一定的哈希算法,将大量的数据平均映射到不同的存储目标上,在保证其查找准确性的同时,还要考虑其中一个存储目标失效时,其他存储目标对其责任存储内容的负载均衡。

一致性哈希算法的实现思想不难理解,如图:

如何用PHP实现分布算法之一致性哈希算法

1.用一定的哈希算法(哈希函数等)将一组服务器的多个(数目自己设定)节点随机映射分散到0-232之间,由于其随机分布,保证了其数据平均分布的特点;

2.用同一算法计算要存储数据的键,根据服务器节点确定其存储的服务器结点,由于每次用同一算法计算,所以得出的结果是相同的,使其查找定位准确;

3.查找数据时,再次用同一算法计算键,并查找服务器的数据结点;

4.如果有一个服务器宕机,消除其服务器结点,并将数据放在下一个结点上,由于随机节点位置的随机性,所以数据被其他服务器平均负载,也就降低了宕机影响。

需要注意的是,这个环形空间只是一个虚拟空间,只是表示了服务器存储的范围和数据的落点,在进行存储时,我们还要通过查找到的落点,将数据放入对应的服务器进行查改。

算法实现

编程语言我们使用PHP来实现一致性哈希算法:

我们主要用到以下函数:

int crc32 ( string $str )
生成 str 的 32 位循环冗余校验码多项式。这通常用于检查传输的数据是否完整。

string sprintf ( string $format [, mixed $args [, mixed $... ]] )
通过传入的格式产生字符串的特定格式形态。

实现如下:

class Consistance
{
    protected $num=24;          //设定每一个服务器的节点数,数量越多,宕机时服务器负载就会分布得越平均,但也增大数据查找消耗。
    protected $nodes=array();   //当前服务器组的结点列表。

    //计算一个数据的哈希值,用以确定位置
    public function make_hash($data)
    {
        return sprintf('%u',crc32($data));
    }

    //遍历当前服务器组的节点列表,确定需要存储/查找的服务器
    public function set_loc($data)
    {
        $loc=self::make_hash($data);
        foreach ($this->nodes as $key => $val)
        {
            if($loc<=$key)
            {
                return $val;
            }
        }
    }

    //添加一个服务器,将其结点添加到服务器组的节点列表内。
    public function add_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            $this->nodes[$key]=$host;   
        }
        ksort($this->nodes);        //对结点排序,这样便于查找。
    }

    //删除一个服务器,并将其对应节点从服务器组的节点列表内移除。
    public function remove_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            unset($this->nodes[$key]);
        }
    }
}

我们用以下代码进行测试:

如何用PHP实现分布算法之一致性哈希算法

结果如下:

如何用PHP实现分布算法之一致性哈希算法

总结

算法的实现到此,我们还可以对算法进行优化,如在服务器数量和每个服务器节点数都很多的情况下,对查找结点的过程进行优化,因为排序好的,可以用二分法进行查找,加快查询效率,这些,仁智各见吧。

另外,虽然nginx服务器有一致性算法的插件,memcache和redis也都有相应的插件,MySQL的中间件有相应的集成,但是了解一致性哈希算法也很有意义。而且,我们也可以对其灵活使用,如对文件等进行分布式管理等等。

以上就是如何用PHP实现分布算法之一致性哈希算法的详细内容,更多关于用PHP实现分布算法之一致性哈希算法的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
zend Framework中的Layout(模块化得布局)详解
Jun 28 PHP
ThinkPHP的L方法使用简介
Jun 18 PHP
PHP根据两点间的经纬度计算距离
Oct 31 PHP
PHP中调用SVN命令更新网站方法
Jan 07 PHP
服务器上配置PHP运行环境教程
Feb 12 PHP
php实现将wav文件转换成图像文件并在页面中显示的方法
Apr 21 PHP
php之static静态属性与静态方法实例分析
Jul 30 PHP
PHP实现留言板功能的详细代码
Mar 25 PHP
thinkPHP5实现的查询数据库并返回json数据实例
Oct 23 PHP
php中如何执行linux命令详解
Nov 06 PHP
php实现文章评论系统
Feb 18 PHP
php设计模式之建造器模式分析【星际争霸游戏案例】
Jan 23 PHP
如何用PHP实现多线程编程
May 26 #PHP
如何用PHP websocket实现网页实时聊天
详解PHP用mb_string处理windows中文字符
May 26 #PHP
详解PHP服务器如何在有限的资源里最大提升并发能力
详解PHP设计模式之依赖注入模式
阿里云服务器搭建Php+Apache运行环境的详细过程
php+laravel 扫码二维码签到功能
You might like
php处理restful请求的路由类分享
2014/02/27 PHP
PHP获取中英混合字符串长度的方法
2014/06/07 PHP
ThinkPHP水印功能实现修复PNG透明水印并增加JPEG图片质量可调整
2014/11/05 PHP
常用的几段javascript代码分享
2014/03/25 Javascript
jQuery修改CSS伪元素属性的方法
2014/07/30 Javascript
Javascript检查图片大小不要让大图片撑破页面
2014/11/04 Javascript
JavaScript通过字符串调用函数的实现方法
2015/03/18 Javascript
javascript实现checkbox全选的代码
2015/04/30 Javascript
JS实现从网页顶部掉下弹出层效果的方法
2015/08/06 Javascript
浅谈js算法和流程控制
2016/12/29 Javascript
微信小程序去哪里找 小程序到底如何使用(附小程序名单)
2017/01/09 Javascript
JS中使用正则表达式g模式和非g模式的区别
2017/04/01 Javascript
详解Angular 4.x NgTemplateOutlet
2017/05/24 Javascript
vue商城中商品“筛选器”功能的实现代码
2020/07/01 Javascript
vue将文件/图片批量打包下载zip的教程
2020/10/21 Javascript
python BeautifulSoup使用方法详解
2013/11/21 Python
在Python中使用SimpleParse模块进行解析的教程
2015/04/11 Python
详解python实现读取邮件数据并下载附件的实例
2017/08/03 Python
Python嵌套式数据结构实例浅析
2019/03/05 Python
Python split() 函数拆分字符串将字符串转化为列的方法
2019/07/16 Python
Python类的继承super相关原理解析
2020/10/22 Python
Python: glob匹配文件的操作
2020/12/11 Python
世界上获奖最多的手机镜头:Olloclip
2018/03/03 全球购物
德国价格合理的品牌商品购物网站:averdo
2019/03/21 全球购物
法国面料和小百货在线商店:Mondial Tissus
2019/03/23 全球购物
印度第一网上礼品店:IGP.com
2020/02/06 全球购物
linux面试题参考答案(4)
2014/09/21 面试题
怎样写好自我评价呢?
2014/02/16 职场文书
怀念母亲教学反思
2014/04/28 职场文书
企业文化标语大全
2014/06/10 职场文书
高中班主任评语
2014/12/30 职场文书
2016年“世界气象日”广播稿
2015/12/17 职场文书
创业计划书之密室逃脱
2019/11/08 职场文书
如何使用Tkinter进行窗口的管理与设置
2021/06/30 Python
Java 泛型详解(超详细的java泛型方法解析)
2021/07/02 Java/Android
Python自动操作神器PyAutoGUI的使用教程
2022/06/16 Python