搜索引擎技术核心揭密


Posted in PHP onOctober 09, 2006

编者按:这是一篇精彩的编程教学文章,不但详细地剖析了搜索引擎的原理,也提供了笔者自己对使用PHP编制搜索引擎的一些思路。整篇文章深入浅出,相信无论是高手还是菜鸟,都能从中得到不少的启发。

谈到网页搜索引擎时,大多数人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎采用了Google(www.google.com)这家由斯坦福大学学生创建的风险公司的技术。理由非常简单,Google的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。

让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢?

剖析编程思路

我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的HTML代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。

这样,问题的关键就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行HTML源代码分析和剥离)的搜索网站,由于新一代搜索引擎Google的各种优良特性,这里我们选择它为例,来看看用PHP怎样实现后台对Google(www.google.com)搜索、前台个性化显示这一过程。

我们先来看看Google的查询命令的构成。进入www.google.com网站,在查询栏中输入“abcd”,点击查询按钮,我们可以发现浏览器的地址栏变成:"http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=",可见,Google是通过表单的get方式来传递查询参数并递交查询命令的。我们可以使用PHP中的file()函数来模拟这个查询过程。

了解File()函数

语法: array file(string filename);

返回值为数组,将文件全部读入数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如: result=file(“http://www.google.com/search?q=abcd&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=”),该语句将模拟我们在Google上查询单词“abcd”的过程,并将搜索结果以每行为元素,传回到数组变量 result中。因为这里读取的文件是远程的,所以协议名“http://”不能缺少。

如果要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“abcd”用变量替换:
<?php
echo '

'; //没有参数的form,默认提交方式为get,提交到本身
echo ''; //构造一个文本输入框
echo ''; //构造一个提交查询按钮
echo '
';

if (isset( keywords)) //提交后PHP会生成变量 kwywords,即要求下面的程序在提交后运行
{
urlencode( keywords); //对用户输入内容进行URL编码
result=file("http://www.google.com/search?q=". keywords."&btnG=Google%CB%D1%CB%F7&hl=zh-CN&lr=");
//对查询语句进行变量替换,将查询结果保存在数组变量 result中
result_string=join(" ", result); //将数组$result合并成字符串,各数组元素之间用空格粘和
... //进一步处理
}
?>

上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量$result_string。请注意要使用urlencode()函数将用户输入内容进行URL编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询,这样做也是尽可能逼真地模拟Google的查询命令,保证搜索结果的正确性。

对Google的分析

为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题。网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Google搜索结果的台头和脚注,包括一个Google的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的HTML格式标记,替换成我们想要的格式。

要做到这一点,我们必须仔细地分析Google搜索结果的HTML源码,找到其中的规律。不难发现,在Google的搜索结果的正文总是包含在源码的第一个

标记和倒数第二个

标记之间,并且倒数第二个

标记后紧跟table字符,而且这个组合“


以下所有程序均依次接续在上文程序的“进一步处理”处。

result_string = strstr( result_string, "

"); //取 result_string从第一个

开始后的字符串,以去除Google台头
position= strpos( result_string,"

table符号的位置
result_string= substr( result_string,0, position);//截取第一个

table符号之前的字符串,以去除脚注

应用与实现

OK,现在我们已经得到有用的HTML源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用
分隔,也就是各成一个段落,按这个特点我们用explode()函数把每个条目切开:

语法:explode(string separator, string string);

返回一个数组,按separator切开后的各个小字串被保存在数组中。

于是:
result_array=explode("

", result_string); //用字串"

"把结果切开

我们就得到一个数组 result_array,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其HTML显示格式代码,然后按要求替换就行了。下面用循环来处理 result_array中的每个条目。
for( i=0; i {
... //处理每个条目
}

对于每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含
标记,于是再次分割:(以下处理程序放在上文的循环中)
every_item=explode("
", result_array[ i]);

这样我们得到一个数组 every_item,其中 every_item[0]就是标题, every_item[1]和 every_item[2]两行为摘要, every_item[3]和 every_item[4]等等的头部如果包含“简介:”、“< font size=-1 color=#6f6f6f>类别:< /font>”字符,则是简介或类别(因为有的结果条目没有该项),如果头部包含“< font color=green>”则肯定就是网址啦,这种对比判断我们常使用正则表达式(略),如果要替换也很方便,比如包含标题的$every_item[0],其本身是有链接的,我们希望修改这个链接属性,让它在新窗口打开链接:
echo eregi_replace(' {
... //处理每个条目中除去第一项(第一项为标题,已经显示)的每一项
... //更多格式修改
}

这样就修改了链接属性,其余很多显示格式的修改、剥离、替换都能用正则替换eregi_replace()来完成。

至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这里也不例外,我们其实还只是讨论了搜索结果的HTML剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Google相关的那些“类别”、“简介”等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析HTML进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎啦。

摘自:http://tech.163.com/tm/010228/010228_15747.html
作者:maxid

  • 搜索
  • 索引
  • 引擎
  • 擎技
  • 技术
  • 术核
  • 核心
  • 心揭
  • 揭密
PHP 相关文章推荐
BBS(php &amp; mysql)完整版(一)
Oct 09 PHP
PHP中使用unset销毁变量并内存释放问题
Jul 05 PHP
PHP函数分享之curl方式取得数据、模拟登陆、POST数据
Jun 04 PHP
PHP防止表单重复提交的几种常用方法汇总
Aug 19 PHP
php 删除cookie方法详解
Dec 01 PHP
PHP+jQuery+Ajax实现用户登录与退出
Apr 27 PHP
PHP文件上传之多文件上传的实现思路
Jan 27 PHP
PHP命名空间namespace用法实例分析
Sep 27 PHP
php mysql PDO 查询操作的实例详解
Sep 23 PHP
详解thinkphp中的volist标签
Jan 15 PHP
php接口实现拖拽排序功能
Apr 23 PHP
PHP页面静态化――纯静态与伪静态用法详解
Jun 05 PHP
输出控制类
Oct 09 #PHP
提取HTML标签
Oct 09 #PHP
如何把PHP转成EXE文件
Oct 09 #PHP
一个查看session内容的函数
Oct 09 #PHP
一个显示天气预报的程序
Oct 09 #PHP
web方式ftp
Oct 09 #PHP
php中文本数据翻页(留言本翻页)
Oct 09 #PHP
You might like
php日期转时间戳,指定日期转换成时间戳
2012/07/17 PHP
PHP实现的数据对象映射模式详解
2019/03/20 PHP
event对象的方法 兼容多浏览器
2009/06/27 Javascript
JS面向对象编程浅析
2011/08/28 Javascript
基于JQuery的类似新浪微博展示信息效果的代码
2012/07/23 Javascript
javascript模拟枚举的简单实例
2014/03/06 Javascript
jquery 绑定回车动作扑捉回车键触发的事件
2014/03/26 Javascript
JS 获取浏览器和屏幕宽高等信息代码
2014/03/31 Javascript
运用jQuery定时器的原理实现banner图片切换
2014/10/22 Javascript
javascript实现实时输出当前的时间
2015/04/27 Javascript
AngularJS中的Directive实现延迟加载
2016/01/25 Javascript
jquery常用的12个小功能
2016/07/22 Javascript
JavaScript自定义浏览器滚动条兼容IE、 火狐和chrome
2017/01/05 Javascript
微信小程序 下拉列表的实现实例代码
2017/03/08 Javascript
80%应聘者都不及格的JS面试题
2017/03/21 Javascript
js使用highlight.js高亮你的代码
2017/08/18 Javascript
Node.JS使用Sequelize操作MySQL的示例代码
2017/10/09 Javascript
Node.js Buffer用法解读
2018/05/18 Javascript
python在linux中输出带颜色的文字的方法
2014/06/19 Python
python基础教程之缩进介绍
2014/08/29 Python
Python版微信红包分配算法
2015/05/04 Python
python网络编程之数据传输UDP实例分析
2015/05/20 Python
Golang与python线程详解及简单实例
2017/04/27 Python
Python发送邮件测试报告操作实例详解
2018/12/08 Python
浅谈python编译pyc工程--导包问题解决
2019/03/20 Python
python的faker库用法
2019/11/28 Python
tensorflow下的图片标准化函数per_image_standardization用法
2020/06/30 Python
联想墨西哥官方网站:Lenovo墨西哥
2016/08/17 全球购物
全球最大的游戏市场:G2A
2018/07/05 全球购物
一站式跨境收款解决方案:Payoneer(派安盈)
2018/09/06 全球购物
港湾网络笔试题
2014/04/19 面试题
个人委托书范本
2014/04/02 职场文书
2014年党支部书记工作总结
2014/12/04 职场文书
《清澈的湖水》教学反思
2016/02/17 职场文书
导游词之桂林
2019/08/20 职场文书
Python 读写 Matlab Mat 格式数据的操作
2021/05/19 Python