php二分法在IP地址查询中的应用


Posted in PHP onAugust 12, 2008

数据库大概存储几十万条IP记录,记录集如下:

+----------+----------+------------+---------+---------+--------+--------+ 
| ip_begin | ip_end   | country_id | prov_id | city_id | isp_id | netbar | 
+----------+----------+------------+---------+---------+--------+--------+ 
|        0 | 16777215 |          2 |       0 |       0 |      0 |      0 | 
| 16777216 | 33554431 |          2 |       0 |       0 |      0 |      0 | 
| 33554432 | 50331647 |          2 |       0 |       0 |      0 |      0 | 
| 50331648 | 67108863 |          3 |       0 |       0 |      0 |      0 | 
| 67108864 | 67829759 |          3 |       0 |       0 |      0 |      0 | 
+----------+----------+------------+---------+---------+--------+--------+ 

这样做查询需要用到如下SQL:
<?php
$sql = 'SELECT * FROM i_m_ip WHERE ip_begin <= $client_ip AND ip_end >= $client_ip';
?>

这样的检索显然用不到索引,即使用到,MySQL查询效率也不大可能达到每秒500次以上,我做了很多并发优化,最终平均查询效率也只有每秒200次左右,实在是头痛。一开始我也有想到借鉴纯真IP库的检索方法,但是我一直对算法有抵触,也以为二分法很难,所以就没有尝试使用,直到最后没有办法了,才最终实现了二分法的IP地址检索。

从上表可以看到IP库是从0到4294967295的一个连续数值,这个数值要是拆开存储,会有几百G的数据,所以没办法使用索引也没办法哈希。最终我使用PHP将这些东东转为二进制存储,抛弃了数据库的检索。可以看到IP起止长度为一个4字节的长整型,后面的国家ID、省份ID等,可以使用2个字节的短整型来存储,总共一行数据就有18个字节,总共31万条数据,算起来也就5M的样子。具体IP库生成代码如下:
<?php
/*
IP文件格式:
3741319168    3758096383    182    0    0    0    0
3758096384    3774873599    3    0    0    0    0
3774873600    4026531839    182    0    0    0    0
4026531840    4278190079    182    0    0    0    0
4294967040    4294967295    312    0    0    0    0
*/
set_time_limit(0);
$handle = fopen('./ip.txt', 'rb');
$fp = fopen("./ip.dat", 'ab');
if ($handle) {
    while (!feof($handle)) {
        $buffer = fgets($handle);
        $buffer = trim($buffer);
        $buffer = explode("\t", $buffer);
        foreach ($buffer as $key => $value) {
            $buffer[$key] = (float) trim($value);
        }
        $str = pack('L', $buffer[0]);
        $str .= pack('L', $buffer[1]);
        $str .= pack('S', $buffer[2]);
        $str .= pack('S', $buffer[3]);
        $str .= pack('S', $buffer[4]);
        $str .= pack('S', $buffer[5]);
        $str .= pack('S', $buffer[6]);
        fwrite($fp, $str);
    }
}
?>

这样IP就按照顺序每18字节一个单位排列了,所以很容易就使用二分法来检索出IP信息:
function getip($ip, $fp) {
    fseek($fp, 0);
    $begin = 0;
    $end   = filesize('./ip.dat');
    $begin_ip = implode('', unpack('L', fread($fp, 4)));
    fseek($fp, $end - 14);
    $end_ip   = implode('', unpack('L', fread($fp, 4)));
    $begin_ip = sprintf('%u', $begin_ip);
    $end_ip   = sprintf('%u', $end_ip);

    do {
        if ($end - $begin <= 18) {
            fseek($fp, $begin + 8);
            $info = array();
            $info[0] = implode('', unpack('S', fread($fp, 2)));
            $info[1] = implode('', unpack('S', fread($fp, 2)));
            $info[2] = implode('', unpack('S', fread($fp, 2)));
            $info[3] = implode('', unpack('S', fread($fp, 2)));
            $info[4] = implode('', unpack('S', fread($fp, 2)));
            return $info;
        }

        $middle_seek = ceil((($end - $begin) / 18) / 2) * 18 + $begin;

        fseek($fp, $middle_seek);
        $middle_ip = implode('', unpack('L', fread($fp, 4)));
        $middle_ip = sprintf('%u', $middle_ip);

        if ($ip >= $middle_ip) {
            $begin = $middle_seek;
        } else {
            $end = $middle_seek;
        }
    } while (true);
}

以上$fp为打开ip.dat的文件句柄,由于是循环检索,所以写在函数外面,免得每次检索都要打开一次文件,30W行数据二分法最多也只需要循环7次(2^7)左右即可找到准确的IP信息。之后本来还想将ip.dat放在内存中加快检索速度,后来发现,字符串定位函数的效率,根本和文件指针的偏移定位不是在一个数量级的,所以还是放弃使用内存来存放IP库。

这个实现,使IP检索效率提高了近百倍,只是一个简单的二分法的应用,从此算法在WEB应用中不重要的观念彻底打消了。其实要实现这个,我还请教了金狐,我一开始是请他帮我生成一个纯真格式的IP库,然后用Discuz的IP查询函数来检索,不过他不肯帮我,最后造就了我的这个实践和学习。有时候,求人不如求己。

PHP 相关文章推荐
图书管理程序(三)
Oct 09 PHP
一些PHP写的小东西
Dec 06 PHP
php将fileterms函数返回的结果变成可读的形式
Apr 21 PHP
php实现的DateDiff和DateAdd时间函数代码分享
Aug 16 PHP
PHP实现的oracle分页函数实例
Jan 25 PHP
PHP+shell脚本操作Memcached和Apache Status的实例分享
Mar 11 PHP
php集成动态口令认证
Jul 21 PHP
thinkPHP实现签到功能的方法
Mar 15 PHP
yii2.0整合阿里云oss删除单个文件的方法
Sep 19 PHP
laravel ORM 只开启created_at的几种方法总结
Jan 29 PHP
php测试kafka项目示例
Feb 06 PHP
php使用redis的有序集合zset实现延迟队列应用示例
Feb 20 PHP
PHP调用MySQL的存储过程的实现代码
Aug 12 #PHP
PHP+MYSQL 出现乱码的解决方法
Aug 08 #PHP
php自动适应范围的分页代码
Aug 05 #PHP
用PHP读取RSS feed的代码
Aug 01 #PHP
IStream与TStream之间的相互转换
Aug 01 #PHP
特详细的PHPMYADMIN简明安装教程
Aug 01 #PHP
php-accelerator网站加速PHP缓冲的方法
Jul 30 #PHP
You might like
php中模拟POST传递数据的两种方法分享
2011/09/16 PHP
洪恩在线成语词典小偷程序php版
2012/04/20 PHP
定义php常量的详解
2013/06/09 PHP
codeigniter框架The URI you submitted has disallowed characters错误解决方法
2014/05/06 PHP
thinkphp实现把数据库中的列的值存到下拉框中的方法
2017/01/20 PHP
ppk谈JavaScript style属性
2008/10/10 Javascript
JavaScript DOM学习第四章 getElementByTagNames
2010/02/19 Javascript
javascript时间戳和日期字符串相互转换代码(超简单)
2016/06/22 Javascript
jQuery Mobile和HTML5开发App推广注册页
2016/11/07 Javascript
解决JS内存泄露之js对象和dom对象互相引用问题
2017/06/25 Javascript
javascript中toFixed()四舍五入使用方法详解
2018/09/28 Javascript
vue实现的微信机器人聊天功能案例【附源码下载】
2019/02/18 Javascript
使用Node.js实现一个多人游戏服务器引擎
2019/03/13 Javascript
Electron-vue开发的客户端支付收款工具的实现
2019/05/24 Javascript
vue实现广告栏上下滚动效果
2020/11/26 Vue.js
vue中defineProperty和Proxy的区别详解
2020/11/30 Vue.js
[04:26]2014DOTA2西雅图国际邀请赛 总决赛TOPPLAY
2014/07/22 DOTA
详解python 注释、变量、类型
2018/08/10 Python
Python 从一个文件中调用另一个文件的类方法
2019/01/10 Python
Python中时间datetime的处理与转换用法总结
2019/02/18 Python
python 的 openpyxl模块 读取 Excel文件的方法
2019/09/09 Python
基于Python实现签到脚本过程解析
2019/10/25 Python
Jupyter notebook如何实现指定浏览器打开
2020/05/13 Python
请用用Java代码写一个堆栈
2012/01/26 面试题
报关简历自我评价怎么写
2013/09/19 职场文书
人力资源管理专业毕业生推荐信
2013/11/07 职场文书
外语系大学生自荐信范文
2014/03/01 职场文书
车队司机自我鉴定
2014/03/02 职场文书
毕业横幅标语
2014/10/08 职场文书
2014年卫生保健工作总结
2014/12/08 职场文书
2015年小学中秋节活动总结
2015/03/23 职场文书
对公司的意见和建议
2015/06/04 职场文书
2016幼儿园教师节新闻稿
2015/11/25 职场文书
2016十一国庆节慰问信
2015/12/01 职场文书
多属性、多分类MySQL模式设计
2021/04/05 MySQL
带你彻底理解JavaScript中的原型对象
2021/04/14 Javascript