PHP抓取网页、解析HTML常用的方法总结


Posted in PHP onJuly 01, 2015

概述

爬虫是我们在做程序时经常会遇到的一种功能。PHP有许多开源的爬虫工具,如snoopy,这些开源的爬虫工具,通常能帮我们完成大部分功能,但是在某种情况下,我们需要自己实现一个爬虫,本篇文章对PHP实现爬虫的方式做个总结。

PHP实现爬虫主要方法

1.file()函数
2.file_get_contents()函数
3.fopen()->fread()->fclose()方式
4.curl方式
5.fsockopen()函数,socket方式
6.使用开源工具,如:snoopy

PHP解析XML或HTML主要方式

1.正则表达式
2.PHP DOMDocument对象
3.插件,如:PHP Simple HTML DOM Parser

总结

这里对PHP实现爬虫的方式做个简单得总结,本篇设计到得内容还有很多,稍后会对PHP解析HTML和XML的方式做个总结。

PHP 相关文章推荐
PHP中显示格式化的用户输入
Oct 09 PHP
一个目录遍历函数
Oct 09 PHP
php处理文件的小例子(解压缩,删除目录)
Feb 03 PHP
基于HBase Thrift接口的一些使用问题及相关注意事项的详解
Jun 03 PHP
php将textarea数据提交到mysql出现很多空格的解决方法
Dec 19 PHP
PHP中curl_setopt函数用法实例分析
Apr 16 PHP
PHP数学运算与数据处理实例分析
Apr 01 PHP
php实现替换手机号中间数字为*号及隐藏IP最后几位的方法
Nov 16 PHP
PHP基于ORM方式操作MySQL数据库实例
Jun 21 PHP
详解php几行代码实现CSV格式文件输出
Jul 01 PHP
PHP使用微信开发模式实现搜索已发送图文及匹配关键字回复的方法
Sep 13 PHP
Laravel 5.5 异常处理 & 错误日志的解决
Oct 17 PHP
PHP中static关键字以及与self关键字的区别
Jul 01 #PHP
PHP单例模式详细介绍
Jul 01 #PHP
curl和libcurl的区别简介
Jul 01 #PHP
PHP+Ajax实时自动检测是否联网的方法
Jul 01 #PHP
PHP超全局数组(Superglobals)介绍
Jul 01 #PHP
PHP中的类型提示(type hinting)功能介绍
Jul 01 #PHP
7个鲜为人知却非常实用的PHP函数
Jul 01 #PHP
You might like
PHP+.htaccess实现全站静态HTML文件GZIP压缩传输(一)
2007/02/15 PHP
fleaphp下不确定的多条件查询的巧妙解决方法
2008/09/11 PHP
PHP分页函数代码(简单实用型)
2010/12/02 PHP
什么情况下可以不写PHP的闭合标签“?>”
2014/08/28 PHP
CMSPRESS 10行代码搞定 PHP无限级分类2
2018/03/30 PHP
php多进程并发编程防止出现僵尸进程的方法分析
2020/02/28 PHP
escape、encodeURI、encodeURIComponent等方法的区别比较
2006/12/27 Javascript
IE和Firefox在JavaScript应用中的兼容性探讨
2008/04/01 Javascript
9个javascript语法高亮插件 推荐
2009/07/18 Javascript
Js event事件在IE、FF兼容性问题
2011/01/01 Javascript
getAsDataURL在Firefox7.0下无法预览本地图片的解决方法
2013/11/15 Javascript
javascript常见操作汇总
2014/09/03 Javascript
Javascript中数组sort和reverse用法分析
2014/12/30 Javascript
js实现简单的左右两边固定广告效果实例
2015/04/10 Javascript
jQuery mobile 移动web(4)
2015/12/20 Javascript
详解AngularJS 模态对话框
2016/04/07 Javascript
JavaScript从数组的indexOf()深入之Object的Property机制
2016/05/11 Javascript
AngularJS 视图详解及示例代码
2016/08/17 Javascript
基于Vue2.0的分页组件
2017/03/16 Javascript
node.js中cluster的使用教程
2017/06/09 Javascript
浅谈关于axios和session的一些事
2017/07/13 Javascript
Vue.js单向绑定和双向绑定实例分析
2018/08/14 Javascript
vue中使用gojs/jointjs的示例代码
2018/08/24 Javascript
vue-cli系列之vue-cli-service整体架构浅析
2019/01/14 Javascript
使用taro开发微信小程序遇到的坑总结
2019/04/08 Javascript
vue中的inject学习教程
2019/04/24 Javascript
Python生成随机密码的方法
2017/06/16 Python
python+opencv实现霍夫变换检测直线
2020/10/23 Python
python安装scipy的步骤解析
2019/09/28 Python
Python with语句和过程抽取思想
2019/12/23 Python
python 利用panda 实现列联表(交叉表)
2021/02/06 Python
King Apparel官网:英国街头服饰品牌
2019/09/05 全球购物
小学生我的梦想演讲稿
2014/08/21 职场文书
机关作风建设自查报告及整改措施
2014/10/21 职场文书
js之ajax文件上传
2021/05/13 Javascript
Golang 切片(Slice)实现增删改查
2022/04/22 Golang