php获取网页请求状态程序示例


Posted in PHP onJune 17, 2014

对于网页返回状态代码一般情况下我们都会去查自己网站状态码是不是200或错误页面是不是404代码,并且多数情况下我们的查看方法就是使用站长工具或ff浏览器等来查看,极少有人想到自己写一个查看状态代码的功能。

本文就此简述php获取网页请求状态程序示例如下:

方法一,使用 fsockopen
(不推荐使用curl_getinfo!)

function get_http_code($url="localhost", $port=80, $fsock_timeout=10){
    set_time_limit(0);
    ignore_user_abort(true);    // 记录开始时间
    list($usec, $sec) = explode(" ", microtime(true));
    $timer['start'] = (float)$usec + (float)$sec;
    // 校验URL
    if(!preg_match("/^https?:\/\//i", $url)){
        $url = "http://".$url;
    }
    // 支持HTTPS
    if(preg_match("/^https:\/\//i", $url)){
        $port = 443;
    }
    // 解析URL
    $urlinfo = parse_url($url);
    if(empty($urlinfo['path'])){
        $urlinfo['path'] = '/';
    }
    $host = $urlinfo['host'];
    $uri = $urlinfo['path'] . (empty($urlinfo['query'])?'':$urlinfo['query']);
    // 通过fsock打开连接
    if(!$fp = fsockopen($host, $port, $errno, $error, $fsock_timeout)){
        list($usec, $sec) = explode(" ", microtime(true));
        $timer['end'] = (float)$usec + (float)$sec;
        $usetime = (float)$timer['end'] - (float)$timer['start'];
        return array('code'=>-1, 'usetime'=>$usetime);
    }
    // 提交请求
    $status = socket_get_status($fp);
    $out = "GET {$uri} HTTP/1.1\r\n";
    $out .= "Host: {$host}\r\n";
    $out .= "Connection: Close\r\n\r\n";
    $write = fwrite($fp, $out);
    if(!$write){
        list($usec, $sec) = explode(" ", microtime(true));
        $timer['end'] = (float)$usec + (float)$sec;
        $usetime = (float)$timer['end'] - (float)$timer['start'];
        return array('code'=>-2, 'usetime'=>$usetime);
    }
    $ret = fgets($fp, 1024);
    preg_match("/http\/\d\.\d\s(\d+)/i", $ret, $m);
    $code = $m[1];
    fclose($fp);
    list($usec, $sec) = explode(" ", microtime(true));
    $timer['end'] = (float)$usec + (float)$sec;
    $usetime = (float)$timer['end'] - (float)$timer['start'];
    return array('code'=>$code, 'usetime'=>$usetime);
}

file_get_contents 是 fsockopen 功能的简单打包,效率稍低些,但是抓取成功率很高,所以在 snoopy 出问题的时候我一般拿他来用。5.0.0 添加了对 context 的支持,有了context,他也可以发送 header 信息,自定义用户 agent, referer, cookies 都不在话下。5.1.0 添加了 offset 和 maxlen 参数,可以只读文件的一部分内容。

方法二,使用snoopy.class.php

Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单。

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://3water.com/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$result = curl_exec($ch);
curl_close($ch);
echo $result;
$writefn = function($ch, $chunk) {
  static $data='';
  static $limit = 500; // 500 bytes, it's only a test
  $len = strlen($data) + strlen($chunk);
  if ($len >= $limit ) {
    $data .= substr($chunk, 0, $limit-strlen($data));
    echo strlen($data) , ' ', $data;
    return -1;
  }
  $data .= $chunk;
  return strlen($chunk);
};
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://3water.com/');
curl_setopt($ch, CURLOPT_RANGE, '0-500');
curl_setopt($ch, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($ch, CURLOPT_WRITEFUNCTION, $writefn);
$result = curl_exec($ch);
curl_close($ch);

一些常见的状态码为:
200 - 服务器成功返回网页
404 - 请求的网页不存在
503 - 服务器超时
301 - 页面重定向

PHP 相关文章推荐
PHP 的 __FILE__ 常量
Jan 15 PHP
php 获取客户端的真实ip
Nov 30 PHP
PHP strncasecmp字符串比较的小技巧
Jan 04 PHP
PHP容易被忽略而出错陷阱 数字与字符串比较
Nov 10 PHP
php异常处理技术,顶级异常处理器
Jun 13 PHP
php实现与erlang的二进制通讯实例解析
Jul 23 PHP
PHP 5.3新增魔术方法__invoke概述
Jul 23 PHP
从零开始学YII2框架(五)快速生成代码工具 Gii 的使用
Aug 20 PHP
php获取twitter最新消息的方法
Apr 14 PHP
PHP新特性详解之命名空间、性状与生成器
Jul 18 PHP
浅谈Yii乐观锁的使用及原理
Jul 25 PHP
thinkPHP5使用Rabc实现权限管理
Aug 28 PHP
php版淘宝网查询商品接口代码示例
Jun 17 #PHP
php+ajax实现图片文件上传功能实例
Jun 17 #PHP
PHP实现删除非站内外部链接实例代码
Jun 17 #PHP
php的SimpleXML方法读写XML接口文件实例解析
Jun 16 #PHP
Thinkphp中Create方法深入探究
Jun 16 #PHP
ThinkPHP中的关联模型注意点
Jun 16 #PHP
用PHP代替JS玩转DOM的思路及示例代码
Jun 15 #PHP
You might like
配置最新的PHP加MYSQL服务器
2006/10/09 PHP
php将数据库导出成excel的方法
2010/05/07 PHP
基于PHP遍历数组的方法汇总分析
2013/06/08 PHP
PHP中使用register_shutdown_function函数截获fatal error示例
2015/04/21 PHP
JS中字符问题(二进制/十进制/十六进制及ASCII码之间的转换)
2008/11/03 Javascript
动态加载dtree.js树treeview(示例代码)
2013/12/17 Javascript
JQuery 控制内容长度超出规定长度显示省略号
2014/05/23 Javascript
Javascript解析URL方法详解
2014/12/05 Javascript
javascript简单比较日期大小的方法
2016/01/05 Javascript
自己封装的一个原生JS拖动方法(推荐)
2016/11/22 Javascript
Vue.js学习示例分享
2017/02/05 Javascript
Bootstrap的Carousel配合dropload.js实现移动端滑动切换图片
2017/03/10 Javascript
详解Vue.js中.native修饰符
2018/04/24 Javascript
vue使用原生js实现滚动页面跟踪导航高亮的示例代码
2018/10/25 Javascript
使用layui前端框架弹出form表单以及提交的示例
2019/10/25 Javascript
Vue如何循环提取对象数组中的值
2020/11/18 Vue.js
Python实现根据指定端口探测服务器/模块部署的方法
2014/08/25 Python
Python编程pygal绘图实例之XY线
2017/12/09 Python
Pandas中Series和DataFrame的索引实现
2019/06/27 Python
opencv3/C++图像像素操作详解
2019/12/10 Python
django框架两个使用模板实例
2019/12/11 Python
用Python 爬取猫眼电影数据分析《无名之辈》
2020/07/24 Python
CSS3 中filter(滤镜)属性使用详解
2020/04/07 HTML / CSS
HTML5实现文件断点续传的方法
2017/01/04 HTML / CSS
世界上最大的罕见唱片、CD和音乐纪念品网上商店:991.com
2018/05/03 全球购物
Booking.com亚太地区:Booking.com APAC
2020/02/07 全球购物
党员志愿者活动总结
2014/06/26 职场文书
交通安全责任书范本
2014/07/24 职场文书
社区个人对照检查材料(群众路线)
2014/09/26 职场文书
2014年艾滋病防治工作总结
2014/12/10 职场文书
医者仁心观后感
2015/06/17 职场文书
CSS3 实现NES游戏机的示例代码
2021/04/21 HTML / CSS
js中Object.create实例用法详解
2021/10/05 Javascript
日本官方排名前10的动漫,名侦探柯南上榜,第一是一部创造历史的动漫
2022/03/18 日漫
java高级用法JNA强大的Memory和Pointer
2022/04/19 Java/Android
使用Apache Camel表达REST服务的方法
2022/06/10 Servers