利用curl抓取远程页面内容的示例代码


Posted in PHP onJuly 23, 2013

最基本的操作如下

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "https://3water.com/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, 'https://3water.com');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)
PHP 相关文章推荐
PHP实现文件安全下载
Oct 09 PHP
PHP实现网上点歌(二)
Oct 09 PHP
用php来改写404错误页让你的页面更友好
Jan 24 PHP
PHP中fwrite与file_put_contents性能测试代码
Aug 02 PHP
支持png透明图片的php生成缩略图类分享
Feb 08 PHP
PHP文件缓存smarty模板应用实例分析
Feb 26 PHP
PHP使用fopen与file_get_contents读取文件实例分享
Mar 04 PHP
PHP实现的简单对称加密与解密方法实例小结
Aug 28 PHP
PHP标准库(PHP SPL)详解
Mar 16 PHP
PHP容器类的两种实现方式示例
Jul 24 PHP
laravel config文件配置全局变量的例子
Oct 13 PHP
基于PHP的微信公众号的开发流程详解
Aug 07 PHP
奉献出一个封装的curl函数 便于调用(抓数据专用)
Jul 22 #PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 #PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
Jul 18 #PHP
php的数组与字符串的转换函数整理汇总
Jul 18 #PHP
使用PHP编写的SVN类
Jul 18 #PHP
请离开include_once和require_once
Jul 18 #PHP
解析PHP中的unset究竟会不会释放内存
Jul 18 #PHP
You might like
默默小谈PHP&MYSQL分页原理及实现
2007/01/02 PHP
php简单封装了一些常用JS操作
2007/02/25 PHP
php curl模拟post提交数据示例
2013/12/31 PHP
PHP英文字母大小写转换函数小结
2014/05/03 PHP
简单介绍PHP的责任链编程模式
2015/08/11 PHP
提高php编程效率技巧
2015/08/13 PHP
mac系统下为 php 添加 pcntl 扩展
2016/08/28 PHP
Avengerls vs KG BO3 第一场2.18
2021/03/10 DOTA
Prototype使用指南之range.js
2007/01/10 Javascript
调试Node.JS的辅助工具(NodeWatcher)
2012/01/04 Javascript
js中split函数的使用方法说明
2013/12/26 Javascript
标题过长使用javascript按字节截取字符串
2014/04/24 Javascript
jQuery中:selected选择器用法实例
2015/01/04 Javascript
JavaScript删除数组元素的方法
2015/03/20 Javascript
简单总结JavaScript中的String字符串类型
2016/05/26 Javascript
省市区三级联动jquery实现代码
2020/04/15 Javascript
简单实现JS计算器功能
2016/12/21 Javascript
原生JS实现不断变化的标签
2017/05/22 Javascript
jQuery操作DOM_动力节点Java学院整理
2017/07/04 jQuery
vue.js 底部导航栏 一级路由显示 子路由不显示的解决方法
2018/03/09 Javascript
基于Vue 2.0 监听文本框内容变化及ref的使用说明介绍
2018/08/24 Javascript
详解VUE单页应用骨架屏方案
2019/01/17 Javascript
js针对图片加载失败的处理方法分析
2019/08/24 Javascript
vue2.0+SVG实现音乐播放圆形进度条组件
2019/09/21 Javascript
vue实现页面切换滑动效果
2020/06/29 Javascript
[01:07:15]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第二场 1月25日
2021/03/11 DOTA
Python网络爬虫实例讲解
2016/04/28 Python
Python+Selenium+phantomjs实现网页模拟登录和截图功能(windows环境)
2019/12/11 Python
Python matplotlib读取excel数据并用for循环画多个子图subplot操作
2020/07/14 Python
python爬取招聘要求等信息实例
2020/11/20 Python
CSS3中的clip-path使用攻略
2015/08/03 HTML / CSS
html5中canvas学习笔记2-判断浏览器是否支持canvas
2013/01/06 HTML / CSS
趣味活动策划方案
2014/02/08 职场文书
幼儿园保育员责任书
2014/07/22 职场文书
2015年教师自我评价范文
2015/03/04 职场文书
Windows Server 2019 安装DHCP服务及相关配置
2022/04/28 Servers