PHP抓取网页、解析HTML常用的方法总结


Posted in PHP onJuly 01, 2015

概述

爬虫是我们在做程序时经常会遇到的一种功能。PHP有许多开源的爬虫工具,如snoopy,这些开源的爬虫工具,通常能帮我们完成大部分功能,但是在某种情况下,我们需要自己实现一个爬虫,本篇文章对PHP实现爬虫的方式做个总结。

PHP实现爬虫主要方法

1.file()函数
2.file_get_contents()函数
3.fopen()->fread()->fclose()方式
4.curl方式
5.fsockopen()函数,socket方式
6.使用开源工具,如:snoopy

PHP解析XML或HTML主要方式

1.正则表达式
2.PHP DOMDocument对象
3.插件,如:PHP Simple HTML DOM Parser

总结

这里对PHP实现爬虫的方式做个简单得总结,本篇设计到得内容还有很多,稍后会对PHP解析HTML和XML的方式做个总结。

PHP 相关文章推荐
dedecms采集中可以过滤多行代码的正则表达式
Mar 17 PHP
基于php-fpm的配置详解
Jun 03 PHP
PHP CURL获取cookies模拟登录的方法
Nov 04 PHP
ThinkPHP使用PHPExcel实现Excel数据导入导出完整实例
Jul 22 PHP
将CMYK颜色值和RGB颜色相互转换的PHP代码
Jul 28 PHP
PHP cURL初始化和执行方法入门级代码
May 28 PHP
PHP7匿名类用法分析
Sep 26 PHP
php 计算两个时间相差的天数、小时数、分钟数、秒数详解及实例代码
Nov 09 PHP
php简单处理XML数据的方法示例
May 19 PHP
PHP实现多图上传和单图上传功能
May 17 PHP
php微信开发之图片回复功能
Jun 14 PHP
PHP5.6读写excel表格文件操作示例
Feb 26 PHP
PHP中static关键字以及与self关键字的区别
Jul 01 #PHP
PHP单例模式详细介绍
Jul 01 #PHP
curl和libcurl的区别简介
Jul 01 #PHP
PHP+Ajax实时自动检测是否联网的方法
Jul 01 #PHP
PHP超全局数组(Superglobals)介绍
Jul 01 #PHP
PHP中的类型提示(type hinting)功能介绍
Jul 01 #PHP
7个鲜为人知却非常实用的PHP函数
Jul 01 #PHP
You might like
什么是短波收听SWL
2021/03/01 无线电
解析PHP中DIRECTORY_SEPARATOR,PATH_SEPARATOR两个常量的作用
2013/06/21 PHP
PHP基于php_imagick_st-Q8.dll实现JPG合成GIF图片的方法
2014/07/11 PHP
js中arguments,caller,callee,apply的用法小结
2014/01/28 Javascript
jquery实现保存已选用户
2014/07/21 Javascript
jQuery简单tab切换效果实现方法
2015/04/08 Javascript
js实现商城星星评分的效果
2015/12/29 Javascript
jQuery+php实时获取及响应文本框输入内容的方法
2016/05/24 Javascript
详解AngularJS验证、过滤器、指令
2017/01/04 Javascript
js实现将json数组显示前台table中
2017/01/10 Javascript
JS中type="button"和type="submit"的区别
2017/07/04 Javascript
js防刷新的倒计时代码 js倒计时代码
2017/09/06 Javascript
Vue-Router进阶之滚动行为详解
2017/09/13 Javascript
node.js通过axios实现网络请求的方法
2018/03/05 Javascript
jQuery实现的页面详情展开收起功能示例
2018/06/11 jQuery
解决vue 打包发布去#和页面空白的问题
2018/09/04 Javascript
[06:59]DOTA2-DPC中国联赛3月7日Recap集锦
2021/03/11 DOTA
从零学python系列之数据处理编程实例(一)
2014/05/22 Python
python中threading超线程用法实例分析
2015/05/16 Python
Python3.6通过自带的urllib通过get或post方法请求url的实例
2018/05/10 Python
python+influxdb+shell编写区域网络状况表
2018/07/27 Python
一篇文章彻底搞懂Python中可迭代(Iterable)、迭代器(Iterator)与生成器(Generator)的概念
2019/05/13 Python
python openCV获取人脸部分并存储功能
2019/08/28 Python
python批量将excel内容进行翻译写入功能
2019/10/10 Python
python实现梯度下降法
2020/03/24 Python
python3用PyPDF2解析pdf文件,用正则匹配数据方式
2020/05/12 Python
浅析PyCharm 的初始设置(知道)
2020/10/12 Python
APM Monaco中国官网:来自摩纳哥珠宝品牌
2017/12/27 全球购物
木马的传播途径主要有哪些
2016/04/08 面试题
在weblogic中发布ejb需涉及到哪些配置文件
2012/01/17 面试题
EJB timer的种类
2014/10/28 面试题
建筑专业自我鉴定
2013/10/22 职场文书
党员培训思想汇报
2014/01/07 职场文书
高中生个性发展自我评价
2015/03/09 职场文书
描写九月优美句子(39条)
2019/09/11 职场文书
C站最全Python标准库总结,你想要的都在这里
2021/07/03 Python