利用curl抓取远程页面内容的示例代码


Posted in PHP onJuly 23, 2013

最基本的操作如下

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "https://3water.com/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, 'https://3water.com');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)
PHP 相关文章推荐
DedeCMS 核心类TypeLink.class.php摘要笔记
Apr 07 PHP
Notice: Undefined index: page in E:\PHP\test.php on line 14
Nov 02 PHP
PHP中几个常用的魔术常量
Feb 23 PHP
php使用百度翻译api示例分享
Jan 31 PHP
php出现web系统多域名登录失败的解决方法
Sep 30 PHP
php实现将数组转换为XML的方法
Mar 09 PHP
Codeigniter发送邮件的方法
Mar 19 PHP
php发送邮件的问题详解
Jun 22 PHP
Laravel中的Blade模板引擎示例详解
Oct 10 PHP
php 调用百度sms来发送短信的实现示例
Nov 02 PHP
PHP智能识别收货地址信息实例
Jan 05 PHP
PHP fopen函数用法实例讲解
Feb 15 PHP
奉献出一个封装的curl函数 便于调用(抓数据专用)
Jul 22 #PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 #PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
Jul 18 #PHP
php的数组与字符串的转换函数整理汇总
Jul 18 #PHP
使用PHP编写的SVN类
Jul 18 #PHP
请离开include_once和require_once
Jul 18 #PHP
解析PHP中的unset究竟会不会释放内存
Jul 18 #PHP
You might like
php计算税后工资的方法
2015/07/28 PHP
培养自己的php编码规范
2015/09/28 PHP
Laravel框架基于ajax实现二级联动功能示例
2019/01/17 PHP
php array 转json及java 转换 json数据格式操作示例
2019/11/13 PHP
jquery ui 1.7 ui.tabs 动态添加与关闭(按钮关闭+双击关闭)
2010/04/01 Javascript
jquery isType() 类型判断代码
2011/02/14 Javascript
js动态加载以及确定加载完成的代码
2011/07/31 Javascript
仅IE支持clearAttributes/mergeAttributes方法使用介绍
2012/05/04 Javascript
JS动态添加与删除select中的Option对象(示例代码)
2013/12/25 Javascript
jQuery遍历json中多个map的方法
2015/02/12 Javascript
基于jquery实现图片相关操作(重绘、获取尺寸、调整大小、缩放)
2015/12/25 Javascript
BootStrap 动态添加验证项和取消验证项的实现方法
2016/09/28 Javascript
微信浏览器禁止页面下拉查看网址实例详解
2017/06/28 Javascript
vue better scroll 无法滚动的解决方法
2018/06/07 Javascript
vue+vue-router转场动画的实例代码
2018/09/01 Javascript
js实现贪吃蛇小游戏(加墙)
2020/07/31 Javascript
ant design vue导航菜单与路由配置操作
2020/10/28 Javascript
JavaScript ES 模块的使用
2020/11/12 Javascript
JavaScript实现通讯录功能
2020/12/27 Javascript
[02:32]DOTA2亚洲邀请赛 C9战队出场宣传片
2015/02/07 DOTA
[02:01]2018完美盛典-开场舞《双子星》
2018/12/16 DOTA
Python PyQt5标准对话框用法示例
2017/08/23 Python
Python3.5.3下配置opencv3.2.0的操作方法
2018/04/02 Python
django 修改server端口号的方法
2018/05/14 Python
python使用KNN算法识别手写数字
2019/04/25 Python
详解pandas获取Dataframe元素值的几种方法
2020/06/14 Python
python使用selenium爬虫知乎的方法示例
2020/10/28 Python
Python实现FTP文件定时自动下载的步骤
2020/12/19 Python
python爬取抖音视频的实例分析
2021/01/19 Python
董事长职责范文
2013/11/08 职场文书
大学生简历的个人自我评价
2013/12/04 职场文书
金融学专科生自我鉴定
2014/02/21 职场文书
机关干部作风建设剖析材料
2014/10/23 职场文书
2014年保卫部工作总结
2014/11/21 职场文书
2015年双拥工作总结
2015/04/08 职场文书
springboot中rabbitmq实现消息可靠性机制详解
2021/09/25 Java/Android