php采集时被封ip的解决方法


Posted in PHP onAugust 29, 2010

在网上找了一些资料都没有找到,功夫不负有心人啊,在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了,列出我的解决方法,

1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。
查看搜索引擎爬虫的USERAGENT值:https://3water.com/yunying/29357.html

2.使用Snoopy或curl传referer值。
如:$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";

3.使用Snoopy或curl代理。
如:$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";

4.使用Snoopy或curl防造IP。
如:$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';

5.用php与一个重起路由的程序,这样就会获得新的ip地址。

6.如果发现重起路由还是显示被封,有可能对方封了你的mac地址,现在路由器都有伪造MAC的功能,可以写程序或手动修改路由器的MAC地址,网上也有专门修改网卡mac地址的工具。

PHP 相关文章推荐
libmysql.dll与php.ini是否真的要拷贝到c:\windows目录下呢
Mar 15 PHP
逆序二维数组插入一元素的php代码
Jun 08 PHP
解析file_get_contents模仿浏览器头(user_agent)获取数据
Jun 27 PHP
php使用curl访问https示例分享
Jan 17 PHP
PHP的反射类ReflectionClass、ReflectionMethod使用实例
Aug 05 PHP
php导出CSV抽象类实例
Sep 24 PHP
php文件上传你必须知道的几点
Oct 20 PHP
PHP中使用CURL发送get/post请求上传图片批处理功能
Oct 15 PHP
实例讲解php实现多线程
Jan 27 PHP
PHP根据key删除数组中指定的元素
Feb 28 PHP
PHP+redis实现微博的拉模型案例详解
Jul 10 PHP
php设计模式之单例模式用法经典示例分析
Sep 20 PHP
PHP isset()与empty()的使用区别详解
Aug 29 #PHP
php Notice: Undefined index 错误提示解决方法
Aug 29 #PHP
php下统计用户在线时间的一种尝试
Aug 26 #PHP
PHP生成excel时单元格内换行问题的解决方法
Aug 26 #PHP
PHP下对字符串的递增运算代码
Aug 21 #PHP
深入理解PHP原理之异常机制
Aug 21 #PHP
php中var_export与var_dump的区别分析
Aug 21 #PHP
You might like
php生成随机密码的几种方法
2011/01/17 PHP
使用php get_headers 判断URL是否有效的解决办法
2013/04/27 PHP
PHP 正则判断中文UTF-8或GBK的思路及具体实现
2013/11/26 PHP
PHP二维数组排序的3种方法和自定义函数分享
2014/04/09 PHP
Codeigniter的一些优秀特性总结
2015/01/21 PHP
WordPress开发中用于标题显示的相关函数使用解析
2016/01/07 PHP
PHP实现函数内修改外部变量值的方法示例
2018/12/28 PHP
jquery DIV撑大让滚动条滚到最底部代码
2013/06/06 Javascript
浅析showModalDialog数据缓存问题(用禁止浏览器缓存解决)
2013/07/09 Javascript
使用原生js实现页面蒙灰(mask)效果示例代码
2014/06/20 Javascript
js常用系统函数用法实例分析
2015/01/12 Javascript
Javascript基础教程之关键字和保留字汇总
2015/01/18 Javascript
浅析jQuery Ajax通用js封装
2016/06/22 Javascript
JS 插件dropload下拉刷新、上拉加载使用小结
2017/04/13 Javascript
vue自定义filters过滤器
2018/04/26 Javascript
记一次用vue做的活动页的方法步骤
2019/04/11 Javascript
Vue项目从webpack3.x升级webpack4不完全指南
2019/04/28 Javascript
vue + typescript + video.js实现 流媒体播放 视频监控功能
2019/07/07 Javascript
javascript 使用sleep函数的常见方法详解
2020/04/26 Javascript
[02:46]完美世界DOTA2联赛PWL DAY4集锦
2020/11/03 DOTA
浅谈python锁与死锁问题
2020/08/14 Python
Python爬虫实现自动登录、签到功能的代码
2020/08/20 Python
CSS3 边框效果
2019/11/04 HTML / CSS
Html5内唤醒百度、高德APP的实现示例
2019/05/20 HTML / CSS
June Jacobs尊积帕官网:知名的spa水疗护肤品牌
2019/03/21 全球购物
俄语翻译实习生的自我评价分享
2013/11/06 职场文书
市场调查策划方案
2014/06/10 职场文书
工厂车间标语
2014/06/19 职场文书
司法局群众路线教育实践活动整改措施思想汇报
2014/10/13 职场文书
2014年高二班主任工作总结
2014/12/16 职场文书
专业技术职务聘任证明
2015/03/02 职场文书
2015领导干部廉洁自律工作总结
2015/07/23 职场文书
MySQL索引失效的典型案例
2021/06/05 MySQL
golang 语言中错误处理机制
2021/08/30 Golang
Python 数据可视化之Bokeh详解
2021/11/02 Python
Javascript的promise,async和await的区别详解
2022/03/24 Javascript