利用PHP制作简单的内容采集器的代码


Posted in PHP onNovember 28, 2007

采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的。关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。 

前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。 

用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。 

下面就一步一步来讲功能实现。 

因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。

这里以《回到明朝当王爷》为目标,先打开书目页,链接:http://www.86zw.com/Book/3727/Index.aspx

多打开几本书会发现,书名的基本格式是:http://www.86zw.com/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个<input type=text name=number>,用来输入需要采集的书号,以后就可以通过$_POST[‘number']这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=http://www.86zw.com/Book/$_POST[‘number']/Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number']的合法性。 

构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“<span class="booktitle">《回到明朝当王爷》</span>”,这就是要提取出来的书名了。提取书名的正则表达式:/<span class=\"newstitle\">(.*?)\<\/span>/is,使用preg_match_all()函数将书名取出:preg_match_all("/<span class=\"newstitle\">(.*?)\<\/span>/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:http://www.86zw.com/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:

preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够,还需要一个切取函数:
PHP代码如下:

function cut($string,$start,$end){  
$message = explode($start,$string);  
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:  $start = "Html/Book/";  
$end  
= "List.shtm";  
$typeid = cut($typeid[0][0],$start,$end);  
$typeid = explode("/",$typeid);[/php]  

这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number']/List.shtm。有了这个就能找到每一章节的地址了。方法如下:

$ustart = "\"";   
$uend  
= "\"";   
//t表示title的缩写  
$tstart = ">";   
$tend  
= "<";   
//取路径,例如:123.shtm,2342.shtm,233.shtm  
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);   
//取标题,例如:第一章 九世善人  
preg_match_all("/<a href=\"[0-9]{1,}\.shtm\"(.*?)\<\/a>/is",$file,$title);   
$count = count($url[0]);  
for($i=0;$i<=$count;$i++)  
{  
$u = cut($url[0][$i],$ustart,$uend);  
$t = cut($title[0][$i],$tstart,$tend);  
$array[$u] = $t;  
}  

$array数组就是所有的章节地址了,到这里,采集器就完成一半了,剩下的就是循环打开每个章节地址,读取,然后将内容匹配出来。这个比较简单,这里就不详细叙述了。好了,今天就先写到这吧,第一次写这么长的文章,语言组织方面难免有问题,还请大家多包涵!
本篇文章来源于 站长资讯网 原文链接:http://webdevelop.chinahtml.com/2/2007/php-119440156516960.shtml

PHP 相关文章推荐
基于mysql的论坛(2)
Oct 09 PHP
用PHP制作的意见反馈表源码
Mar 11 PHP
php UTF8 文件的签名问题
Oct 30 PHP
PHP 学习路线与时间表
Feb 21 PHP
PHP封装分页函数实现文本分页和数字分页
Oct 23 PHP
CI框架中site_url()和base_url()的区别
Jan 07 PHP
php根据指定位置和长度获得子字符串的方法
Mar 17 PHP
WAMP环境中扩展oracle函数库(oci)
Jun 26 PHP
PHP使用file_get_content设置头信息的方法
Feb 14 PHP
php反射类ReflectionClass用法分析
May 12 PHP
PHP如何读取由JavaScript设置的Cookie
Mar 22 PHP
PHP中多字节字符串操作实例详解
Aug 23 PHP
php a simple smtp class
Nov 26 #PHP
PHP 文件上传进度条的两种实现方法的代码
Nov 25 #PHP
分页详解 从此分页无忧(PHP+mysql)
Nov 23 #PHP
php Mysql日期和时间函数集合
Nov 16 #PHP
PHP编程中字符串处理的5个技巧小结
Nov 13 #PHP
表单复选框向PHP传输数据的代码
Nov 13 #PHP
实用函数10
Nov 08 #PHP
You might like
php图片验证码代码
2008/03/27 PHP
Server.HTMLEncode让代码在页面里显示为源代码
2013/12/08 PHP
PHP学习笔记(二) 了解PHP的基本语法以及目录结构
2014/08/04 PHP
php禁止直接从浏览器输入地址访问.php文件的方法
2014/11/04 PHP
ECshop 迁移到 PHP7版本时遇到的兼容性问题
2016/02/15 PHP
php版微信支付api.mch.weixin.qq.com域名解析慢原因与解决方法
2016/10/12 PHP
js跨域和ajax 跨域问题的实现思路
2009/09/05 Javascript
JS烟花背景效果实现方法
2015/03/03 Javascript
js/jquery判断浏览器类型的方法小结
2015/05/12 Javascript
微信小程序 教程之wxapp 视图容器 view
2016/10/19 Javascript
jQuery zTree树插件动态加载实例代码
2017/05/11 jQuery
p5.js入门教程之小球动画示例代码
2018/03/15 Javascript
引入外部js脚本加载慢与页面白屏问题的解决
2018/12/10 Javascript
Vue 用Vant实现时间选择器的示例代码
2019/10/25 Javascript
vue图片上传组件使用详解
2019/12/23 Javascript
[48:48]VGJ.T vs Liquid 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
安装python时MySQLdb报错的问题描述及解决方法
2018/03/20 Python
python3爬虫学习之数据存储txt的案例详解
2019/04/24 Python
Python计算两个矩形重合面积代码实例
2019/09/16 Python
Python定时器线程池原理详解
2020/02/26 Python
Python格式化输出--%s,%d,%f的代码解析
2020/04/29 Python
Python unittest如何生成HTMLTestRunner模块
2020/09/08 Python
英国领先的男士服装和时尚零售商:Burton
2017/01/09 全球购物
全球第二大家装零售商:Lowe’s
2018/01/13 全球购物
详解如何解决使用JSON.stringify时遇到的循环引用问题
2021/03/23 Javascript
班风学风建设方案
2014/05/06 职场文书
商场开业庆典策划方案
2014/06/02 职场文书
《改造我们的学习》心得体会
2014/11/07 职场文书
环卫工人慰问信
2015/02/15 职场文书
奔腾年代观后感
2015/06/09 职场文书
记者节感言
2015/08/03 职场文书
三八红旗手主要事迹材料
2015/11/04 职场文书
解决thinkphp6(tp6)在状态码500下不报错,或者显示错误“Malformed UTF-8 characters”的问题
2021/04/01 PHP
python自动统计zabbix系统监控覆盖率的示例代码
2021/04/03 Python
java如何实现socket连接方法封装
2021/09/25 Java/Android
Python find()、rfind()方法及作用
2022/12/24 Python