snoopy 强大的PHP采集类使用实例代码


Posted in PHP onDecember 09, 2010

下载地址: https://3water.com/codes/33397.html

Snoopy的一些特点:

1抓取网页的内容 fetch
2 抓取网页的文本内容 (去除HTML标签) fetchtext
3抓取网页的链接,表单 fetchlinks fetchform
4 支持代理主机
5支持基本的用户名/密码验证
6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
7支持浏览器重定向,并能控制重定向深度
8能把网页中的链接扩展成高质量的url(默认)
9提交数据并且获取返回值
10 支持跟踪HTML框架
11支持重定向的时候传递cookies
要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时候的最好选择,

类方法:

fetch($URI)
———?

这是为了抓取网页的内容而使用的方法。
$URI参数是被抓取网页的URL地址。
抓取的结果被存储在 $this->results 中。
如果你正在抓取的是一个框架,Snoopy将会将每个框架追踪后存入数组中,然后存入 $this->results。

fetchtext($URI)
—————

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中的文字内容。

fetchform($URI)
—————

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中表单内容(form)。

fetchlinks($URI)
—————-

本方法类似于fetch(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。
默认情况下,相对链接将自动补全,转换成完整的URL。

submit($URI,$formvars)
———————-

本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。

submittext($URI,$formvars)
————————?

本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回登陆后网页中的文字内容。

submitlinks($URI)
—————-

本方法类似于submit(),唯一不同的就是本方法会去除HTML标签和其他的无关数据,只返回网页中链接(link)。
默认情况下,相对链接将自动补全,转换成完整的URL。

类属性: (缺省值在括号里)

$host 连接的主机
$port 连接的端口
$proxy_host 使用的代理主机,如果有的话
$proxy_port 使用的代理主机端口,如果有的话
$agent 用户代理伪装 (Snoopy v0.1)
$referer 来路信息,如果有的话
$cookies cookies, 如果有的话
$rawheaders 其他的头信息, 如果有的话
$maxredirs 最大重定向次数, 0=不允许 (5)
$offsiteok whether or not to allow redirects off-site. (true)
$expandlinks 是否将链接都补全为完整地址 (true)
$user 认证用户名, 如果有的话
$pass 认证用户名, 如果有的话
$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)
$error 哪里报错, 如果有的话
$response_code 从服务器返回的响应代码
$headers 从服务器返回的头信息
$maxlength 最长返回数据长度
$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)
设置为0为没有超时
$timed_out 如果一次读取操作超时了,本属性返回 true (requires PHP 4 Beta 4+)
$maxframes 允许追踪的框架最大数量
$status 抓取的http的状态
$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)
$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

以下是demo

include "Snoopy.class.php"; 
$snoopy = new Snoopy; 
$snoopy->proxy_host = "https://3water.com"; 
$snoopy->proxy_port = "80"; 
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; 
$snoopy->referer = "https://3water.com"; 
$snoopy->cookies["SessionID"] = 238472834723489l; 
$snoopy->cookies["favoriteColor"] = "RED"; 
$snoopy->rawheaders["Pragma"] = "no-cache"; 
$snoopy->maxredirs = 2; 
$snoopy->offsiteok = false; 
$snoopy->expandlinks = false; 
$snoopy->user = "joe"; 
$snoopy->pass = "bloe"; 
if($snoopy->fetchtext("https://3water.com")) 
{ 
echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>\n"; 
} 
else 
echo "error fetching document: ".$snoopy->error."\n";

以下是一些代码片段:
1、获取指定url内容
<? 
$url = "https://3water.com"; 
include("snoopy.php"); 
$snoopy = new Snoopy; 
$snoopy->fetch($url); //获取所有内容 
echo $snoopy->results; //显示结果 
//可选以下 
$snoopy->fetchtext //获取文本内容(去掉html代码) 
$snoopy->fetchlinks //获取链接 
$snoopy->fetchform //获取表单 
?>

2 表单提交
<?php 
$formvars["username"] = "admin"; 
$formvars["pwd"] = "admin"; 
$action = "https://3water.com";//</a>表单提交地址 
$snoopy->submit($action,$formvars);//$formvars为提交的数组 
echo $snoopy->results; //获取表单提交后的 返回的结果 
//可选以下 
$snoopy->submittext; //提交后只返回 去除html的 文本 
$snoopy->submitlinks;//提交后只返回 链接 
?>

既然已经提交的表单 那就可以做很多事情 接下来我们来伪装ip,伪装浏览器
3 伪装
<?php 
$formvars["username"] = "admin"; 
$formvars["pwd"] = "admin"; 
$action = "https://3water.com"; 
include "snoopy.php"; 
$snoopy = new Snoopy; 
$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 
$snoopy->referer = https://3water.com; //伪装来源页地址 http_referer 
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 
$snoopy->submit($action,$formvars); 
echo $snoopy->results; 
?>

原来我们可以伪装session 伪装浏览器 ,伪装ip, haha 可以做很多事情了。
例如 带验证码,验证ip 投票, 可以不停的投。
ps:这里伪装ip ,其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了,
反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。
关于如何验证码 ,简单说下:
首先用普通的浏览器, 查看页面 , 找到验证码所对应的sessionid,
同时记下sessionid和验证码值,
接下来就用snoopy去伪造 。
原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。
4 有时我们可能需要伪造更多的东西,snoopy完全为我们想到了
<?php 
$snoopy->proxy_host = "https://3water.com"; 
$snoopy->proxy_port = "8080"; //使用代理 
$snoopy->maxredirs = 2; //重定向次数 
$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到 
// 例如链接为 /images/taoav.gif 可改为它的全链接 <a href="https://3water.com/images/taoav.gif">https://3water.com/images/taoav.gif</a> 
$snoopy->maxframes = 5 //允许的最大框架数 
//注意抓取框架的时候 $snoopy->results 返回的是一个数组 
$snoopy->error //返回报错信息 
?>
PHP 相关文章推荐
php 无极分类(递归)实现代码
Jan 05 PHP
JS与PHP向函数传递可变参数的区别实例代码
May 18 PHP
php 阴历-农历-转换类代码
Jan 16 PHP
ioncube_loader_win_5.2.dll的错误解决方法
Jan 04 PHP
PHP实现HTTP断点续传的方法
Jun 17 PHP
PHP实现二维数组按某列进行排序的方法
Nov 18 PHP
thinkPHP自定义类实现方法详解
Nov 30 PHP
PHP在同一域名下两个不同的项目做独立登录机制详解
Sep 22 PHP
PHP静态方法和静态属性及常量属性的区别与介绍
Mar 22 PHP
ThinkPHP5框架中使用JWT的方法示例
Jun 03 PHP
php慢查询日志和错误日志使用详解
Feb 27 PHP
如何用Laravel包含你自己的帮助函数
May 27 PHP
PHPwind整合最土系统用户同步登录实现方法
Dec 08 #PHP
php iconv() : Detected an illegal character in input string
Dec 05 #PHP
php printf输出格式使用说明
Dec 05 #PHP
PHP执行zip与rar解压缩方法实现代码
Dec 05 #PHP
smarty模板嵌套之include与fetch性能测试
Dec 05 #PHP
php 学习资料零碎东西
Dec 04 #PHP
PHP访问MYSQL数据库封装类(附函数说明)
Dec 04 #PHP
You might like
PHP的面试题集
2006/11/19 PHP
解析php通过cookies获取远程网页的指定代码
2013/06/25 PHP
phpmyadmin config.inc.php配置示例
2013/08/27 PHP
codeigniter框架批量插入数据
2014/01/09 PHP
PHP中的print_r 与 var_dump 输出数组
2016/06/13 PHP
PHP中的多种加密技术及代码示例解析
2016/10/20 PHP
PHP生成word文档的三种实现方式
2016/11/14 PHP
JQuery 无废话系列教程(一) jquery入门 [推荐]
2009/06/23 Javascript
JavaScript 面向对象之命名空间
2010/05/04 Javascript
jQuery EasyUI API 中文文档 - NumberSpinner数值微调器使用介绍
2011/10/21 Javascript
跨浏览器的事件对象介绍
2012/06/27 Javascript
jquery选择器、属性设置用法经验总结
2013/09/08 Javascript
jQuery计算textarea中文字数(剩余个数)的小程序
2013/11/28 Javascript
AngularJS学习笔记之ng-options指令
2015/06/16 Javascript
js实现拉幕效果的广告代码
2015/09/02 Javascript
JavaScript中Boolean对象的属性解析
2015/10/21 Javascript
window.location.reload 刷新使用分析(去对话框)
2015/11/11 Javascript
js精准的倒计时函数分享
2016/06/29 Javascript
Chrome不支持showModalDialog模态对话框和无法返回returnValue问题的解决方法
2016/10/30 Javascript
javascript事件捕获机制【深入分析IE和DOM中的事件模型】
2016/12/15 Javascript
NodeJS实现微信公众号关注后自动回复功能
2017/05/31 NodeJs
jquery中ajax请求后台数据成功后既不执行success也不执行error的完美解决方法
2017/12/24 jQuery
MVVM 双向绑定的实现代码
2018/06/21 Javascript
JS拖动选择table里的单元格完整实例【基于jQuery】
2019/05/28 jQuery
vue 实现input表单元素的disabled示例
2019/10/28 Javascript
利用Django模版生成树状结构实例代码
2019/05/19 Python
Python使用type关键字创建类步骤详解
2019/07/23 Python
python被修饰的函数消失问题解决(基于wraps函数)
2019/11/04 Python
python实现126邮箱发送邮件
2020/05/20 Python
pytorch掉坑记录:model.eval的作用说明
2020/06/23 Python
HTML5 语音搜索只需一句代码
2013/01/03 HTML / CSS
意大利单身交友网站:Meetic
2020/07/12 全球购物
2014年预备党员学习两会心得体会
2014/03/17 职场文书
2015年班干部工作总结
2015/04/29 职场文书
小学生纪律委员竞选稿
2015/11/19 职场文书
Python通过loop.run_in_executor执行同步代码 同步变为异步
2022/04/11 Python