PHP 获取远程网页内容的代码(fopen,curl已测)


Posted in PHP onJune 06, 2011

1、fopen的使用

<?php 
$handle = fopen ("http://s.3water.com/", "rb"); 
$contents = ""; 
while (!feof($handle)) { 
$contents .= fread($handle, 8192); 
} 
fclose($handle); 
echo $contents; //输出获取到得内容。 
?>

// 对 PHP 5 及更高版本可以使用下面的代码 
<?php 
$handle = fopen("http://s.3water.com", "rb"); 
$contents = stream_get_contents($handle); 
fclose($handle); 
echo $contents; 
?>

但上面的代码容易出现 failed to open stream: HTTP request failed!错误,解决方法

有人说在php.ini中,有这样两个选项:allow_url_fopen =on(表示可以通过url打开远程文件),user_agent="PHP"(表示通过哪种脚本访问网络,默认前面有个 " ; " 去掉即可。)重启服务器。
但是有些还是会有这个警告信息,想用完美的解决还差一步,还得设置php.ini里面的user_agent,php默认的user_agent是PHP,我们把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)来模拟浏览器就可以了
PHP 获取远程网页内容的代码(fopen,curl已测)
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"

在工作中遇到这个问题,后完美解决,故分享给大家。
2、通过curl来实现

<?php 
$url = "http://s.3water.com"; 
$ch = curl_init(); 
curl_setopt ($ch, CURLOPT_URL, $url); 
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10); 
$dxycontent = curl_exec($ch); 
echo $dxycontent; 
?>

linux下可以使用下面的代码下载
exec("wget {$url}");

PHP抓取外部资源函数fopen / file_get_contents / curl 的区别

fopen / file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存。
但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。
这大大减少了DNS查询的次数。
所以CURL的性能比fopen / file_get_contents 好很多。

三水点靠木原创内容,转载请注明出处。

PHP 相关文章推荐
桌面中心(三)修改数据库
Oct 09 PHP
php获取某个目录大小的代码
Sep 10 PHP
PHP字符串函数系列之nl2br(),在字符串中的每个新行 (\n) 之前插入 HTML 换行符br
Nov 10 PHP
PHP 获取文件路径(灵活应用__FILE__)
Feb 15 PHP
PHP中exec函数和shell_exec函数的区别
Aug 20 PHP
php输出xml必须header的解决方法
Oct 17 PHP
PHP读取CURL模拟登录时生成Cookie文件的方法
Nov 04 PHP
php将html转成wml的WAP标记语言实例
Jul 08 PHP
PHP中两个float(浮点数)比较实例分析
Sep 27 PHP
PHP验证码生成原理和实现
Jan 24 PHP
PHP实现权限管理功能示例
Sep 22 PHP
PHP保存Base64图片base64_decode的问题整理
Nov 04 PHP
PHP发明人谈MVC和网站设计架构 貌似他不支持php用mvc
Jun 04 #PHP
php写的简易聊天室代码
Jun 04 #PHP
php结合表单实现一些简单功能的例子
Jun 04 #PHP
PHP中对用户身份认证实现两种方法
Jun 04 #PHP
关于php curl获取301或302转向的网址问题的解决方法
Jun 02 #PHP
基于PHP的cURL快速入门教程 (小偷采集程序)
Jun 02 #PHP
PHP curl_setopt()函数实例代码与参数分析
Jun 02 #PHP
You might like
PHP采集相关教程之一 CURL函数库
2010/02/15 PHP
php checkbox 取值详细说明
2010/08/19 PHP
php入门学习知识点三 PHP上传
2011/07/14 PHP
PHP strip_tags保留多个HTML标签的方法
2016/05/22 PHP
PHP 在数组中搜索给定的简单实例 array_search 函数
2016/06/13 PHP
PHP静态方法和静态属性及常量属性的区别与介绍
2019/03/22 PHP
PHP序列化和反序列化深度剖析实例讲解
2020/12/29 PHP
setTimeout函数兼容各主流浏览器运行执行效果实例
2013/06/13 Javascript
常见的原始JS选择器使用方法总结
2014/04/09 Javascript
纯js实现div内图片自适应大小(已测试,兼容火狐)
2014/06/16 Javascript
JS+CSS实现淡入式焦点图片幻灯切换效果的方法
2015/02/26 Javascript
jQuery幻灯片特效代码分享--鼠标滑过按钮时切换(2)
2020/11/18 Javascript
js实现图片放大和拖拽特效代码分享
2015/09/05 Javascript
js前端日历控件(悬浮、拖拽、自由变形)
2017/03/02 Javascript
微信小程序 跳转传参数与传对象详解及实例代码
2017/03/14 Javascript
vue.js指令v-model使用方法
2017/03/20 Javascript
JS实现模糊查询带下拉匹配效果
2018/06/21 Javascript
vue学习笔记五:在vue项目里面使用引入公共方法详解
2019/04/04 Javascript
使用vuex解决刷新页面state数据消失的问题记录
2019/05/08 Javascript
python实现批量监控网站
2016/09/09 Python
python dict 字典 以及 赋值 引用的一些实例(详解)
2017/01/20 Python
Python将多份excel表格整理成一份表格
2018/01/03 Python
用Django实现一个可运行的区块链应用
2018/03/08 Python
Python图像的增强处理操作示例【基于ImageEnhance类】
2019/01/03 Python
python运行时强制刷新缓冲区的方法
2019/01/14 Python
基于OpenCV的路面质量检测的实现
2020/11/04 Python
AmazeUI 加载进度条的实现示例
2020/08/20 HTML / CSS
鞋子女王塔玛拉·梅隆同名奢侈品牌:Tamara Mellon
2017/11/22 全球购物
德国运动营养和健身网上商店:Myprotein.de
2018/07/18 全球购物
清洁工表扬信
2014/01/08 职场文书
优质护理服务演讲稿
2014/05/07 职场文书
国贸专业求职信
2014/06/28 职场文书
预备党员入党感言
2015/08/01 职场文书
服务行业标语口号
2015/12/26 职场文书
pandas中DataFrame数据合并连接(merge、join、concat)
2021/05/30 Python
聊一聊Redis与MySQL双写一致性如何保证
2021/06/26 Redis