如何用PHP实现分布算法之一致性哈希算法


Posted in PHP onMay 26, 2021

传统算法缺陷

对于服务器分布,我们要考虑的东西有如下三点:数据平均分布,查找定位准确,降低宕机影响。

传统算法一般是将数据的键用算法映射出数字,对其用服务器数量取模,并根据结果选择要存储的服务器。其能达到数据平均分布和查找定位准确的要求,并且优点是算法简单,存取时的计算量都比较小(在数据非常大时才会明显)。

但其有一个致命缺点,即一个服务器宕机后的影响很大,我们可以推算一下一台服务器宕机后的影响:

  • 原有数据大部分丢失:服务器数量减少一台,取模数减1导致取模值错乱,如果以前有N台服务器,那么宕机后数据只有1/(n*(n-1))的数据能够被准确查找到。
  • 负载无法均衡导致集体宕机:如果没有及时处理宕机的服务器,那么他的存储任务将会被顺序积累给它的下一个服务器,那么下一个服务器也会很快被压致宕机,如此一来,服务器组很快会集体宕机。

算法思想

一致性哈希算法是使用一定的哈希算法,将大量的数据平均映射到不同的存储目标上,在保证其查找准确性的同时,还要考虑其中一个存储目标失效时,其他存储目标对其责任存储内容的负载均衡。

一致性哈希算法的实现思想不难理解,如图:

如何用PHP实现分布算法之一致性哈希算法

1.用一定的哈希算法(哈希函数等)将一组服务器的多个(数目自己设定)节点随机映射分散到0-232之间,由于其随机分布,保证了其数据平均分布的特点;

2.用同一算法计算要存储数据的键,根据服务器节点确定其存储的服务器结点,由于每次用同一算法计算,所以得出的结果是相同的,使其查找定位准确;

3.查找数据时,再次用同一算法计算键,并查找服务器的数据结点;

4.如果有一个服务器宕机,消除其服务器结点,并将数据放在下一个结点上,由于随机节点位置的随机性,所以数据被其他服务器平均负载,也就降低了宕机影响。

需要注意的是,这个环形空间只是一个虚拟空间,只是表示了服务器存储的范围和数据的落点,在进行存储时,我们还要通过查找到的落点,将数据放入对应的服务器进行查改。

算法实现

编程语言我们使用PHP来实现一致性哈希算法:

我们主要用到以下函数:

int crc32 ( string $str )
生成 str 的 32 位循环冗余校验码多项式。这通常用于检查传输的数据是否完整。

string sprintf ( string $format [, mixed $args [, mixed $... ]] )
通过传入的格式产生字符串的特定格式形态。

实现如下:

class Consistance
{
    protected $num=24;          //设定每一个服务器的节点数,数量越多,宕机时服务器负载就会分布得越平均,但也增大数据查找消耗。
    protected $nodes=array();   //当前服务器组的结点列表。

    //计算一个数据的哈希值,用以确定位置
    public function make_hash($data)
    {
        return sprintf('%u',crc32($data));
    }

    //遍历当前服务器组的节点列表,确定需要存储/查找的服务器
    public function set_loc($data)
    {
        $loc=self::make_hash($data);
        foreach ($this->nodes as $key => $val)
        {
            if($loc<=$key)
            {
                return $val;
            }
        }
    }

    //添加一个服务器,将其结点添加到服务器组的节点列表内。
    public function add_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            $this->nodes[$key]=$host;   
        }
        ksort($this->nodes);        //对结点排序,这样便于查找。
    }

    //删除一个服务器,并将其对应节点从服务器组的节点列表内移除。
    public function remove_host($host)
    {
        for($i=0;$i<$this->num;$i++)
        {
            $key=sprintf('%u',crc32($host.'_'.$i));
            unset($this->nodes[$key]);
        }
    }
}

我们用以下代码进行测试:

如何用PHP实现分布算法之一致性哈希算法

结果如下:

如何用PHP实现分布算法之一致性哈希算法

总结

算法的实现到此,我们还可以对算法进行优化,如在服务器数量和每个服务器节点数都很多的情况下,对查找结点的过程进行优化,因为排序好的,可以用二分法进行查找,加快查询效率,这些,仁智各见吧。

另外,虽然nginx服务器有一致性算法的插件,memcache和redis也都有相应的插件,MySQL的中间件有相应的集成,但是了解一致性哈希算法也很有意义。而且,我们也可以对其灵活使用,如对文件等进行分布式管理等等。

以上就是如何用PHP实现分布算法之一致性哈希算法的详细内容,更多关于用PHP实现分布算法之一致性哈希算法的资料请关注三水点靠木其它相关文章!

PHP 相关文章推荐
支持oicq头像的留言簿(二)
Oct 09 PHP
php异步多线程swoole用法实例
Nov 14 PHP
彻底删除thinkphp3.1案例blog标签的方法
Dec 05 PHP
php自定义hash函数实例
May 05 PHP
PHP三种方式实现链式操作详解
Jan 21 PHP
Smarty3配置及入门语法
Feb 22 PHP
PHP实现在数据库百万条数据中随机获取20条记录的方法
Apr 19 PHP
PHP实现的Redis多库选择功能单例类
Jul 27 PHP
PHP二维关联数组的遍历方式(实例讲解)
Oct 18 PHP
PHP 进程池与轮询调度算法实现多任务的示例代码
Nov 26 PHP
让whoops帮我们告别ThinkPHP6的异常页面
Mar 02 PHP
PHP终止脚本运行三种实现方法详解
Sep 01 PHP
如何用PHP实现多线程编程
May 26 #PHP
如何用PHP websocket实现网页实时聊天
详解PHP用mb_string处理windows中文字符
May 26 #PHP
详解PHP服务器如何在有限的资源里最大提升并发能力
详解PHP设计模式之依赖注入模式
阿里云服务器搭建Php+Apache运行环境的详细过程
php+laravel 扫码二维码签到功能
You might like
打造计数器DIY三步曲(下)
2006/10/09 PHP
用Flash图形化数据(二)
2006/10/09 PHP
使用Linux五年积累的一些经验技巧
2013/06/20 PHP
PHP里的单例类写法实例
2015/06/25 PHP
PHP函数实现从一个文本字符串中提取关键字的方法
2015/07/01 PHP
php变量与JS变量实现不通过跳转直接交互的方法
2017/08/25 PHP
Jquery 获取表单text,areatext,radio,checkbox,select值的代码
2009/11/12 Javascript
JavaScipt中的Math.ceil() 、Math.floor() 、Math.round() 三个函数的理解
2010/04/29 Javascript
Textbox控件注册回车事件及触发按钮提交事件具体实现
2013/03/04 Javascript
JS中getYear()和getFullYear()区别分析
2014/07/04 Javascript
javascript实现点击单选按钮链接转向对应网址的方法
2015/08/12 Javascript
vue如何安装使用Quill富文本编辑器
2018/09/21 Javascript
微信小程序实现bindtap等事件传参
2019/04/08 Javascript
layui使用templet格式化表格数据的方法
2019/09/16 Javascript
es6 super关键字的理解与应用实例分析
2020/02/15 Javascript
Openlayers实现距离面积测量
2020/09/28 Javascript
[04:13]2018国际邀请赛典藏宝瓶Ⅱ饰品一览
2018/07/21 DOTA
Python for Informatics 第11章之正则表达式(二)
2016/04/21 Python
django创建最简单HTML页面跳转方法
2019/08/16 Python
详解python metaclass(元类)
2020/08/13 Python
python脚本第一行如何写
2020/08/30 Python
pycharm专业版远程登录服务器的详细教程
2020/09/15 Python
python3中TQDM库安装及使用详解
2020/11/18 Python
websocket+sockjs+stompjs详解及实例代码
2018/11/30 HTML / CSS
HTML5 File API改善网页上传功能
2009/08/19 HTML / CSS
uniapp+Html5端实现PC端适配
2020/07/15 HTML / CSS
Auchan Direct波兰:欧尚在线杂货店
2016/10/19 全球购物
大学生演讲稿范文
2014/01/11 职场文书
鼓励运动员的广播稿
2014/02/08 职场文书
会计岗位职责模板
2014/03/12 职场文书
初中班主任工作总结2015
2015/05/13 职场文书
2015年幼儿园师德师风建设工作总结
2015/10/23 职场文书
为什么中国式养孩子很累?
2019/08/07 职场文书
PostGIS的安装与入门使用指南
2022/01/18 PostgreSQL
MySQL数据库完全卸载的方法
2022/03/03 MySQL
Android studio 简单计算器的编写
2022/05/20 Java/Android