利用PHP制作简单的内容采集器的代码


Posted in PHP onNovember 28, 2007

采集器,通常又叫小偷程序,主要是用来抓取别人网页内容的。关于采集器的制作,其实并不难,就是远程打开要采集的网页,然后用正则表达式将需要的内容匹配出来,只要稍微有点正则表达式的基础,都能做出自己的采集器来的。 

前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。 

用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。 

下面就一步一步来讲功能实现。 

因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。

这里以《回到明朝当王爷》为目标,先打开书目页,链接:http://www.86zw.com/Book/3727/Index.aspx

多打开几本书会发现,书名的基本格式是:http://www.86zw.com/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个<input type=text name=number>,用来输入需要采集的书号,以后就可以通过$_POST[‘number']这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=http://www.86zw.com/Book/$_POST[‘number']/Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number']的合法性。 

构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“<span class="booktitle">《回到明朝当王爷》</span>”,这就是要提取出来的书名了。提取书名的正则表达式:/<span class=\"newstitle\">(.*?)\<\/span>/is,使用preg_match_all()函数将书名取出:preg_match_all("/<span class=\"newstitle\">(.*?)\<\/span>/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:http://www.86zw.com/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:

preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够,还需要一个切取函数:
PHP代码如下:

function cut($string,$start,$end){  
$message = explode($start,$string);  
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:  $start = "Html/Book/";  
$end  
= "List.shtm";  
$typeid = cut($typeid[0][0],$start,$end);  
$typeid = explode("/",$typeid);[/php]  

这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number']/List.shtm。有了这个就能找到每一章节的地址了。方法如下:

$ustart = "\"";   
$uend  
= "\"";   
//t表示title的缩写  
$tstart = ">";   
$tend  
= "<";   
//取路径,例如:123.shtm,2342.shtm,233.shtm  
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);   
//取标题,例如:第一章 九世善人  
preg_match_all("/<a href=\"[0-9]{1,}\.shtm\"(.*?)\<\/a>/is",$file,$title);   
$count = count($url[0]);  
for($i=0;$i<=$count;$i++)  
{  
$u = cut($url[0][$i],$ustart,$uend);  
$t = cut($title[0][$i],$tstart,$tend);  
$array[$u] = $t;  
}  

$array数组就是所有的章节地址了,到这里,采集器就完成一半了,剩下的就是循环打开每个章节地址,读取,然后将内容匹配出来。这个比较简单,这里就不详细叙述了。好了,今天就先写到这吧,第一次写这么长的文章,语言组织方面难免有问题,还请大家多包涵!
本篇文章来源于 站长资讯网 原文链接:http://webdevelop.chinahtml.com/2/2007/php-119440156516960.shtml

PHP 相关文章推荐
eWebEditor v3.8 商业完整版 (PHP)
Dec 06 PHP
用PHP程序实现支持页面后退的两种方法
Jun 30 PHP
PHPMailer安装方法及简单实例
Nov 25 PHP
PHP 写文本日志实现代码
May 18 PHP
SWFUpload与CI不能正确上传识别文件MIME类型解决方法分享
Apr 18 PHP
PHP获取文件绝对路径的代码(上一级目录)
May 29 PHP
php array_walk() 数组函数
Jul 12 PHP
深入PHP中慎用双等于(==)的详解
Jun 06 PHP
php实现的任意进制互转类分享
Jul 07 PHP
Yii快速入门经典教程
Dec 28 PHP
Yii实现文章列表置顶功能示例
Oct 18 PHP
PHP缩略图生成和图片水印制作
Jan 07 PHP
php a simple smtp class
Nov 26 #PHP
PHP 文件上传进度条的两种实现方法的代码
Nov 25 #PHP
分页详解 从此分页无忧(PHP+mysql)
Nov 23 #PHP
php Mysql日期和时间函数集合
Nov 16 #PHP
PHP编程中字符串处理的5个技巧小结
Nov 13 #PHP
表单复选框向PHP传输数据的代码
Nov 13 #PHP
实用函数10
Nov 08 #PHP
You might like
PHP利用imagick生成组合缩略图
2016/02/19 PHP
PHP操作XML中XPath的应用示例
2019/07/04 PHP
php的无刷新操作实现方法分析
2020/02/28 PHP
JS解密入门 最终变量劫持
2008/06/25 Javascript
js 颜色选择器(兼容firefox)
2009/03/05 Javascript
jquery实现标签支持图文排列带上下箭头按钮的选项卡
2015/03/14 Javascript
jQuery实现垂直半透明手风琴特效代码分享
2015/08/21 Javascript
JavaScript类型系统之基本数据类型与包装类型
2016/01/06 Javascript
AngularJS中的过滤器filter用法完全解析
2016/04/22 Javascript
String字符串截取的四种方式总结
2016/11/28 Javascript
JavaScript之json_动力节点Java学院整理
2017/06/29 Javascript
使用JQuery实现图片轮播效果的实例(推荐)
2017/10/24 jQuery
JavaScript数组排序reverse()和sort()方法详解
2017/12/24 Javascript
Vue项目中ESlint规范示例代码
2019/07/04 Javascript
vue 实现走马灯效果
2019/10/28 Javascript
Angular5整合富文本编辑器TinyMCE的方法(汉化+上传)
2020/05/26 Javascript
Swiper实现导航栏滚动效果
2020/10/16 Javascript
Node.js利用Express实现用户注册登陆功能(推荐)
2020/10/26 Javascript
uni-app实现获取验证码倒计时功能
2020/11/01 Javascript
原生js实现弹窗消息动画
2020/11/20 Javascript
vue项目如何监听localStorage或sessionStorage的变化
2021/01/04 Vue.js
Python实现FTP上传文件或文件夹实例(递归)
2017/01/16 Python
解决csv.writer写入文件有多余的空行问题
2018/07/06 Python
TensorFlow实现Logistic回归
2018/09/07 Python
Django项目基础配置和基本使用过程解析
2019/11/25 Python
python时间time模块处理大全
2020/10/25 Python
Html5中的桌面通知Notification的实现
2018/09/25 HTML / CSS
联想德国官网:Lenovo Germany
2018/07/04 全球购物
体验完美剃须:The Art of Shaving
2018/08/06 全球购物
杭州SQL浙江浙大网新恩普软件有限公司
2013/07/27 面试题
学雷锋演讲稿
2014/03/04 职场文书
小学生环保演讲稿
2014/04/25 职场文书
安全标语大全
2014/06/10 职场文书
安全例会汇报材料
2014/08/23 职场文书
js基础语法与maven项目配置教程案例
2021/07/15 Javascript
python机器学习Github已达8.9Kstars模型解释器LIME
2021/11/23 Python