利用curl抓取远程页面内容的示例代码


Posted in PHP onJuly 23, 2013

最基本的操作如下

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "https://3water.com/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, 'https://3water.com');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)
PHP 相关文章推荐
二十行语句实现从Excel到mysql的转化
Oct 09 PHP
批量获取memcache值并按key的顺序返回的实现代码
Jun 14 PHP
基于php缓存的详解
May 15 PHP
codeigniter使用技巧批量插入数据实例方法分享
Dec 31 PHP
php实现获取局域网所有用户的电脑IP和主机名、及mac地址完整实例
Jul 18 PHP
PHP中定义数组常量(array常量)的方法
Nov 17 PHP
PHP中require和include路径问题详解
Dec 25 PHP
用php守护另一个php进程的例子
Feb 13 PHP
joomla实现注册用户添加新字段的方法
May 05 PHP
php文件类型MIME对照表(比较全)
Oct 07 PHP
Zend Framework框架实现类似Google搜索分页效果
Nov 25 PHP
PHP mysqli事务操作常用方法分析
Jul 22 PHP
奉献出一个封装的curl函数 便于调用(抓数据专用)
Jul 22 #PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 #PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
Jul 18 #PHP
php的数组与字符串的转换函数整理汇总
Jul 18 #PHP
使用PHP编写的SVN类
Jul 18 #PHP
请离开include_once和require_once
Jul 18 #PHP
解析PHP中的unset究竟会不会释放内存
Jul 18 #PHP
You might like
PHP新手上路(九)
2006/10/09 PHP
解析phpstorm + xdebug 远程断点调试
2013/06/20 PHP
php实现的统计字数函数定义与使用示例
2017/07/26 PHP
浅谈Laravel中的三种中间件的作用
2019/10/13 PHP
浅谈laravel框架与thinkPHP框架的区别
2019/10/23 PHP
JS中字符问题(二进制/十进制/十六进制及ASCII码之间的转换)
2008/11/03 Javascript
jquery实现图片等比例缩放以及max-width在ie中不兼容解决
2013/03/21 Javascript
jquery判断input值不为空的方法
2016/06/05 Javascript
轻松5句话解决JavaScript的作用域
2016/07/15 Javascript
Angular表单验证实例详解
2016/10/20 Javascript
html、css和jquery相结合实现简单的进度条效果实例代码
2016/10/24 Javascript
jquery实现转盘抽奖功能
2017/01/06 Javascript
Jquery树插件zTree实现菜单树
2017/01/24 Javascript
jQuery制作全屏宽度固定高度轮播图(实例讲解)
2017/07/08 jQuery
vue中计算属性(computed)、methods和watched之间的区别
2017/07/27 Javascript
Angular中使用ng-zorro图标库部分图标不能正常显示问题
2019/04/22 Javascript
JS中的算法与数据结构之集合(Set)实例详解
2019/08/20 Javascript
vue 实现element-ui中的加载中状态
2020/11/11 Javascript
你所不知道的Python奇技淫巧13招【实用】
2016/12/14 Python
Python设计模式之代理模式实例详解
2019/01/19 Python
pyqt5 实现在别的窗口弹出进度条
2019/06/18 Python
pytorch实现Tensor变量之间的转换
2020/02/17 Python
如何利用python读取micaps文件详解
2020/10/18 Python
地图可视化神器kepler.gl python接口的使用方法
2020/12/22 Python
python热力图实现简单方法
2021/01/29 Python
美国50岁以上单身人士约会平台:SilverSingles
2018/06/29 全球购物
全球领先的美容用品专卖店:Beauty Plus Salon
2018/09/04 全球购物
英语系本科生个人求职信
2013/09/21 职场文书
校园达人秀策划书
2014/01/12 职场文书
中国央视网签名寄语
2014/01/18 职场文书
优秀经理事迹材料
2014/02/01 职场文书
放假通知
2015/04/14 职场文书
2015年社区综治工作总结
2015/04/21 职场文书
《最后一头战象》教学反思
2016/02/16 职场文书
python3实现Dijkstra算法最短路径的实现
2021/05/12 Python
redis数据结构之压缩列表
2022/03/21 Redis