PHP采集利器 Snoopy 试用心得


Posted in PHP onJuly 03, 2011

Snoopy是什么? (下载snoopy)
Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
Snoopy的一些特点:
* 方便抓取网页的内容
* 方便抓取网页的文本内容 (去除HTML标签)
* 方便抓取网页的链接
* 支持代理主机
* 支持基本的用户名/密码验证
* 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
* 支持浏览器转向,并能控制转向深度
* 能把网页中的链接扩展成高质量的url(默认)
* 方便提交数据并且获取返回值
* 支持跟踪HTML框架(v0.92增加)
* 支持再转向的时候传递cookies (v0.92增加)
要想了解的更深入些,你自己Google一下吧。下面就给几个简单的例子:
1获取指定url内容
PHP代码

$url = "https://3water.com"; 
include("snoopy.php"); 
$snoopy = new Snoopy; 
$snoopy->fetch($url); //获取所有内容 
echo $snoopy->results; //显示结果 
$snoopy->fetchtext //获取文本内容(去掉html代码) 
$snoopy->fetchlinks //获取链接 
$snoopy->fetchform //获取表单

2 表单提交
PHP代码
$formvars["username"] = "admin"; 
$formvars["pwd"] = "admin"; 
$action = "https://3water.com";//表单提交地址 
$snoopy->submit($action,$formvars);//$formvars为提交的数组 
echo $snoopy->results; //获取表单提交后的 返回的结果 
$snoopy->submittext; //提交后只返回 去除html的 文本 
$snoopy->submitlinks;//提交后只返回 链接

既然已经提交的表单 那就可以做很多事情 接下来我们来伪装ip,伪装浏览器
3 伪装
PHP代码
$formvars["username"] = "admin"; 
$formvars["pwd"] = "admin"; 
$action = "https://3water.com"; 
include "snoopy.php"; 
$snoopy = new Snoopy; 
$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 
$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 
$snoopy->referer = "http://s.3water.com"; //伪装来源页地址 http_referer 
$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 
$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 
$snoopy->submit($action,$formvars); 
echo $snoopy->results;

原来我们可以伪装session 伪装浏览器 ,伪装ip, haha 可以做很多事情了。
例如 带验证码,验证ip 投票, 可以不停的投。
ps:这里伪装ip ,其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了,
反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。
关于如何验证码 ,简单说下:
首先用普通的浏览器, 查看页面 , 找到验证码所对应的sessionid,
同时记下sessionid和验证码值,
接下来就用snoopy去伪造 。
原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。
4 有时我们可能需要伪造更多的东西,snoopy完全为我们想到了
PHP代码
$snoopy->proxy_host = "3water.com"; 
$snoopy->proxy_port = "8080"; //使用代理 
$snoopy->maxredirs = 2; //重定向次数 
$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到 
// 例如链接为 /images/taoav.gif 可改为它的全链接 https://3water.com/images/taoav.gif,这个地方其实可以在最后输出的时候用ereg_replace函数自己替换 
$snoopy->maxframes = 5 //允许的最大框架数 
//注意抓取框架的时候 $snoopy->results 返回的是一个数组 
$snoopy->error //返回报错信息

上面的基本用法了解了,下面我就实例演示一次:
PHP代码
<? 
//echo var_dump($_SERVER); 
include("Snoopy.class.php"); 
$snoopy = new Snoopy; 
$snoopy->agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh- 
CN; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5 FirePHP/0.2.1";//这项是浏览器信 
息,前面你用什么浏览器查看cookie,就用那个浏览器的信息(ps:$_SERVER可以查看到浏览器的信息) 
$snoopy->referer = "http://bbs.3water.com/index.php"; 
$snoopy->expandlinks = true; 
$snoopy->rawheaders["COOKIE"]="__utmz=17229162.1227682761.29.7.utmccn=(referral)|utmcsr=3water.com|utmcct=/html/index.html|utmcmd=referral; cdbphpchina_smile=1D2D0D1; cdbphpchina_cookietime=2592000; __utma=233700831.1562900865.1227113506.1229613449.1231233266.16; __utmz=233700831.1231233266.16.8.utmccn=(referral)|utmcsr=localhost:8080|utmcct=/test3.php|utmcmd=referral; __utma=17229162.1877703507.1227113568.1231228465.1231233160.58; uchome_loginuser=sinopf; xscdb_cookietime=2592000; __utmc=17229162; __utmb=17229162; cdbphpchina_sid=EX5w1V; __utmc=233700831; cdbphpchina_visitedfid=17; cdbphpchinaO766uPYGK6OWZaYlvHSuzJIP22VpwEMGnPQAuWCFL9Fd6CHp2e%2FKw0x4bKz0N9lGk; xscdb_auth=8106rAyhKpQL49eMs%2FyhLBf3C6ClZ%2B2idSk4bExJwbQr%2BHSZrVKgqPOttHVr%2B6KLPg3DtWpTMUI4ttqNNVpukUj6ElM; cdbphpchina_onlineusernum=3721"; 
$snoopy->fetch("http://bbs.3water.com"); 
$n=ereg_replace("href=\"","href=\"http://bbs.3water.com/",$snoopy->results ); 
echo ereg_replace("src=\"","src=\"http://bbs.3water.com/",$n); 
?>

这是模拟登陆PHPCHINA论坛的过程,首先要查看自己浏览器的信
息:echo var_dump($_SERVER);这句代码可以看到自己浏览器的信息,把
$_SERVER['HTTP_USER_AGENT']后边的内容复制下来,粘在$snoopy->agent的地方,然后就是要查看自己的
COOKIE了,用自己在论坛的账号登陆论坛后,在浏览器地址栏里输入
javascript:document.write(document.cookie),回车,就可以看到自己的cookie信息,复制粘贴
到$snoopy->rawheaders["COOKIE"]=的后边。(我的cookie信息为了安全起见已经删除了一段内容)

然后再注意:

# $n=ereg_replace("href=\"","href=\"http://bbs.3water.com/",$snoopy->results );

# echo ereg_replace("src=\"","src=\"http://bbs.3water.com/",$n);

这两句代码,因为采集到的内容所有的HTML源码地址都是相对链接,所以要替换成绝对链接,这样就可以引用论坛的图片和css样式了。

PHP 相关文章推荐
一步一步学习PHP(5) 类和对象
Feb 16 PHP
Ext.data.PagingMemoryProxy分页一次性读取数据的实现代码
Apr 07 PHP
php Smarty模板生成html文档的方法
Apr 12 PHP
PHP三元运算符的结合性介绍
Jan 10 PHP
php轻松实现中英文混排字符串截取
May 28 PHP
php实现的用户查询类实例
Jun 18 PHP
PHP实现的DES加密解密实例代码
Apr 06 PHP
PHP加密解密类实例代码
Jul 20 PHP
详解PHP处理密码的几种方式
Nov 30 PHP
PHP检测数据类型的几种方法(总结)
Mar 04 PHP
PHP实现下载远程图片保存到本地的方法
Jun 19 PHP
php中pcntl_fork详解
Apr 01 PHP
php中的三元运算符使用说明
Jul 03 #PHP
PHP 数据结构 算法 三元组 Triplet
Jul 02 #PHP
php中批量删除Mysql中相同前缀的数据表的代码
Jul 01 #PHP
PHP中error_reporting()函数的用法(修改PHP屏蔽错误)
Jul 01 #PHP
PHP函数之error_reporting(E_ALL ^ E_NOTICE)详细说明
Jul 01 #PHP
Can't create/write to file 'C:\WINDOWS\TEMP\...MYSQL报错解决方法
Jun 30 #PHP
在php中判断一个请求是ajax请求还是普通请求的方法
Jun 28 #PHP
You might like
php mysql 判断update之后是否更新了的方法
2012/01/10 PHP
无法在发生错误时创建会话,请检查 PHP 或网站服务器日志,并正确配置 PHP 安装(win+linux)
2012/05/05 PHP
CURL状态码列表(详细)
2013/06/27 PHP
ThinkPHP添加更新标签的方法
2014/12/05 PHP
利用php输出不同的心形图案
2016/04/22 PHP
php和vue配合使用技巧和方法
2019/05/09 PHP
微信推送功能实现方式图文详解
2019/07/12 PHP
让whoops帮我们告别ThinkPHP6的异常页面
2020/03/02 PHP
Prototype使用指南之range.js
2007/01/10 Javascript
IE事件对象(The Internet Explorer Event Object)
2012/06/27 Javascript
addEventListener()第三个参数useCapture (Boolean)详细解析
2013/11/07 Javascript
node.js中的fs.stat方法使用说明
2014/12/16 Javascript
基于jQuery通过jQuery.form.js插件实现异步上传
2015/12/13 Javascript
Web打印解决方案之普通报表打印功能
2016/08/29 Javascript
js实时获取窗口大小变化的实例代码
2016/11/18 Javascript
详解Node.js利用node-git-server快速搭建git服务器
2017/09/27 Javascript
vuejs中监听窗口关闭和窗口刷新事件的方法
2018/09/21 Javascript
jquery.pager.js实现分页效果
2019/07/29 jQuery
压缩Vue.js打包后的体积方法总结(Vue.js打包后体积过大问题)
2020/02/03 Javascript
使用python获取CPU和内存信息的思路与实现(linux系统)
2014/01/03 Python
Python脚本实现Web漏洞扫描工具
2016/10/25 Python
opencv python 2D直方图的示例代码
2018/07/20 Python
python使用pdfminer解析pdf文件的方法示例
2018/12/20 Python
python批量从es取数据的方法(文档数超过10000)
2018/12/27 Python
python PrettyTable模块的安装与简单应用
2019/01/11 Python
keras得到每层的系数方式
2020/06/15 Python
Kaufmann Mercantile官网:家居装饰、配件、户外及更多
2018/09/28 全球购物
优秀学生干部推荐材料
2014/02/03 职场文书
小学生暑假家长评语
2014/04/17 职场文书
房地产开发项目建议书
2014/05/16 职场文书
党的生日活动方案
2014/08/15 职场文书
2014年建筑工程工作总结
2014/12/03 职场文书
工作简报怎么写
2015/07/21 职场文书
护理培训心得体会
2016/01/22 职场文书
关于感恩的作文
2019/08/26 职场文书
Python中的套接字编程是什么?
2021/06/21 Python