利用PHP制作简单的内容采集器的代码


Posted in PHP onNovember 28, 2007

采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的。关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。 

前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。 

用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。 

下面就一步一步来讲功能实现。 

因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。

这里以《回到明朝当王爷》为目标,先打开书目页,链接:http://www.86zw.com/Book/3727/Index.aspx

多打开几本书会发现,书名的基本格式是:http://www.86zw.com/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个<input type=text name=number>,用来输入需要采集的书号,以后就可以通过$_POST[‘number']这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=http://www.86zw.com/Book/$_POST[‘number']/Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number']的合法性。 

构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“<span class="booktitle">《回到明朝当王爷》</span>”,这就是要提取出来的书名了。提取书名的正则表达式:/<span class=\"newstitle\">(.*?)\<\/span>/is,使用preg_match_all()函数将书名取出:preg_match_all("/<span class=\"newstitle\">(.*?)\<\/span>/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:http://www.86zw.com/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:

preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够,还需要一个切取函数:
PHP代码如下:

function cut($string,$start,$end){  
$message = explode($start,$string);  
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:  $start = "Html/Book/";  
$end  
= "List.shtm";  
$typeid = cut($typeid[0][0],$start,$end);  
$typeid = explode("/",$typeid);[/php]  

这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number']/List.shtm。有了这个就能找到每一章节的地址了。方法如下:

$ustart = "\"";   
$uend  
= "\"";   
//t表示title的缩写  
$tstart = ">";   
$tend  
= "<";   
//取路径,例如:123.shtm,2342.shtm,233.shtm  
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);   
//取标题,例如:第一章 九世善人  
preg_match_all("/<a href=\"[0-9]{1,}\.shtm\"(.*?)\<\/a>/is",$file,$title);   
$count = count($url[0]);  
for($i=0;$i<=$count;$i++)  
{  
$u = cut($url[0][$i],$ustart,$uend);  
$t = cut($title[0][$i],$tstart,$tend);  
$array[$u] = $t;  
}  

$array数组就是所有的章节地址了,到这里,采集器就完成一半了,剩下的就是循环打开每个章节地址,读取,然后将内容匹配出来。这个比较简单,这里就不详细叙述了。好了,今天就先写到这吧,第一次写这么长的文章,语言组织方面难免有问题,还请大家多包涵!
本篇文章来源于 站长资讯网 原文链接:http://webdevelop.chinahtml.com/2/2007/php-119440156516960.shtml

PHP 相关文章推荐
php之对抗Web扫描器的脚本技巧
Oct 01 PHP
php在线代理转向代码
May 05 PHP
PHP中通过HTTP_USER_AGENT判断是否为手机移动终端的函数代码
Feb 14 PHP
测试php函数的方法
Nov 13 PHP
ThinkPHP单字母函数(快捷方法)使用总结
Jul 23 PHP
使用GD库生成带阴影文字的图片
Mar 27 PHP
PHP中的traits简单使用实例
May 13 PHP
浅谈PHP错误类型及屏蔽方法
May 27 PHP
Smarty模板变量与调节器实例详解
Jul 20 PHP
Laravel监听数据库访问,打印SQL的例子
Oct 24 PHP
php判断某个方法是否存在函数function_exists (),method_exists()与is_callable()区别与用法解析
Apr 20 PHP
PHP实现创建以太坊钱包转账等功能
Apr 21 PHP
php a simple smtp class
Nov 26 #PHP
PHP 文件上传进度条的两种实现方法的代码
Nov 25 #PHP
分页详解 从此分页无忧(PHP+mysql)
Nov 23 #PHP
php Mysql日期和时间函数集合
Nov 16 #PHP
PHP编程中字符串处理的5个技巧小结
Nov 13 #PHP
表单复选框向PHP传输数据的代码
Nov 13 #PHP
实用函数10
Nov 08 #PHP
You might like
php中session退出登陆问题
2014/02/27 PHP
PHP利用二叉堆实现TopK-算法的方法详解
2017/04/24 PHP
THINKPHP3.2使用soap连接webservice的解决方法
2017/12/13 PHP
共享自己写一个框架DreamScript
2007/01/20 Javascript
javascript实现des解密加密全过程
2014/04/03 Javascript
Javascript中的回调函数和匿名函数的回调示例介绍
2014/05/12 Javascript
JavaScript阻止事件冒泡示例分享
2014/12/28 Javascript
jQuery 1.9.1源码分析系列(十)事件系统之绑定事件
2015/11/19 Javascript
javascript点击按钮实现隐藏显示切换效果
2016/02/03 Javascript
JavaScript绑定事件监听函数的通用方法
2016/05/14 Javascript
jstree的简单实例
2016/12/01 Javascript
jQuery中的100个技巧汇总
2016/12/15 Javascript
JS中静态页面实现微信分享功能
2017/02/06 Javascript
JavaScript编写棋盘覆盖代码详解
2017/08/28 Javascript
微信小程序实现图片上传功能实例(前端+PHP后端)
2018/01/10 Javascript
web3.js增加eth.getRawTransactionByHash(txhash)方法步骤
2018/03/15 Javascript
jQuery实现基本隐藏与显示效果的方法详解
2018/09/05 jQuery
基于vue.js实现分页查询功能
2018/12/29 Javascript
js实现蒙版效果
2020/01/11 Javascript
Python代理抓取并验证使用多线程实现
2013/05/03 Python
python判断一个集合是否包含了另外一个集合中所有项的方法
2015/06/30 Python
Python实现将目录中TXT合并成一个大TXT文件的方法
2015/07/15 Python
python实现ID3决策树算法
2017/12/20 Python
python操作文件的参数整理
2019/06/11 Python
Python matplotlib画图时图例说明(legend)放到图像外侧详解
2020/05/16 Python
python如何随机生成高强度密码
2020/08/19 Python
Html5无刷新修改browser Url的方法
2014/01/15 HTML / CSS
台湾生鲜宅配:大口市集
2017/10/14 全球购物
TIME时代杂志台湾总代理:台时亚洲
2018/10/22 全球购物
初入社会应届生求职信
2013/11/18 职场文书
《生命的药方》教学反思
2014/04/08 职场文书
人代会标语
2014/06/30 职场文书
绘画专业自荐信
2014/07/04 职场文书
2014年学校德育工作总结
2014/12/05 职场文书
合同纠纷调解书
2015/05/20 职场文书
解决Mysql多行子查询的使用及空值问题
2022/01/22 MySQL