php采集时被封ip的解决方法


Posted in PHP onAugust 29, 2010

在网上找了一些资料都没有找到,功夫不负有心人啊,在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了,列出我的解决方法,

1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。
查看搜索引擎爬虫的USERAGENT值:https://3water.com/yunying/29357.html

2.使用Snoopy或curl传referer值。
如:$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";

3.使用Snoopy或curl代理。
如:$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";

4.使用Snoopy或curl防造IP。
如:$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';

5.用php与一个重起路由的程序,这样就会获得新的ip地址。

6.如果发现重起路由还是显示被封,有可能对方封了你的mac地址,现在路由器都有伪造MAC的功能,可以写程序或手动修改路由器的MAC地址,网上也有专门修改网卡mac地址的工具。

PHP 相关文章推荐
在windows iis5下安装php4.0+mysql之我见
Oct 09 PHP
php中配置文件操作 如config.php文件的读取修改等操作
Jul 07 PHP
CI框架开发新浪微博登录接口源码完整版
May 28 PHP
destoon供应信息title调用出公司名称的方法
Aug 22 PHP
laravel容器延迟加载以及auth扩展详解
Mar 02 PHP
PHP常用的排序和查找算法
Aug 06 PHP
PHP+MySql+jQuery实现的"顶"和"踩"投票功能
May 21 PHP
PHP实现的观察者模式实例
Jun 21 PHP
thinkphp分页集成实例
Jul 24 PHP
php中输出json对象的值(实现方法)
Mar 07 PHP
php实现websocket实时消息推送
Mar 30 PHP
浅谈php的TS和NTS的区别
Mar 13 PHP
PHP isset()与empty()的使用区别详解
Aug 29 #PHP
php Notice: Undefined index 错误提示解决方法
Aug 29 #PHP
php下统计用户在线时间的一种尝试
Aug 26 #PHP
PHP生成excel时单元格内换行问题的解决方法
Aug 26 #PHP
PHP下对字符串的递增运算代码
Aug 21 #PHP
深入理解PHP原理之异常机制
Aug 21 #PHP
php中var_export与var_dump的区别分析
Aug 21 #PHP
You might like
深入解析php模板技术原理【一】
2008/01/10 PHP
php实现的Curl封装类Curl.class.php用法实例分析
2015/09/25 PHP
PHP实现UTF8二进制及明文字符串的转化功能示例
2017/11/20 PHP
thinkPHP5.0框架验证码调用及点击图片刷新简单实现方法
2018/09/07 PHP
背景图跟随鼠标移动的Mootools插件实现代码
2011/12/12 Javascript
基于JQuery的一句话搞定手风琴菜单
2012/09/14 Javascript
Javascript基础 函数“重载” 详细介绍
2013/10/25 Javascript
js实现下拉框选择要显示图片的方法
2015/02/16 Javascript
基于jQuery通过jQuery.form.js插件使用ajax提交form表单
2015/08/17 Javascript
Bootstrap表格和栅格分页实例详解
2016/05/20 Javascript
AngularJS模块详解及示例代码
2016/08/17 Javascript
Servlet3.0与纯javascript通过Ajax交互的实例详解
2018/03/18 Javascript
JS无限级导航菜单实现方法
2019/01/05 Javascript
手挽手带你学React之React-router4.x的使用
2019/02/14 Javascript
js 闭包深入理解与实例分析
2020/03/19 Javascript
Vue数据双向绑定原理实例解析
2020/05/15 Javascript
谈谈node.js中的模块系统
2020/09/01 Javascript
python处理中文编码和判断编码示例
2014/02/26 Python
python设计模式大全
2016/06/27 Python
Python读取图片属性信息的实现方法
2016/09/11 Python
Python中enumerate函数代码解析
2017/10/31 Python
在Python中,不用while和for循环遍历列表的实例
2019/02/20 Python
pandas dataframe的合并实现(append, merge, concat)
2019/06/24 Python
Python实现生成密码字典的方法示例
2019/09/02 Python
python读文件的步骤
2019/10/08 Python
tensorflow之并行读入数据详解
2020/02/05 Python
北美Newegg打造的全球尖货海购平台:tt海购
2018/09/28 全球购物
网页美工求职信
2014/02/15 职场文书
车队司机个人自我鉴定
2014/04/17 职场文书
宣传标语大全
2014/07/01 职场文书
治庸问责心得体会
2014/09/12 职场文书
毕业论文答辩开场白和答辩技巧
2015/05/27 职场文书
大学生活委员竞选稿
2015/11/21 职场文书
党风廉政建设心得体会
2019/05/21 职场文书
Python可视化学习之seaborn绘制矩阵图详解
2022/02/24 Python
redis sentinel监控高可用集群实现的配置步骤
2022/04/01 Redis