PHP抓取网页、解析HTML常用的方法总结


Posted in PHP onJuly 01, 2015

概述

爬虫是我们在做程序时经常会遇到的一种功能。PHP有许多开源的爬虫工具,如snoopy,这些开源的爬虫工具,通常能帮我们完成大部分功能,但是在某种情况下,我们需要自己实现一个爬虫,本篇文章对PHP实现爬虫的方式做个总结。

PHP实现爬虫主要方法

1.file()函数
2.file_get_contents()函数
3.fopen()->fread()->fclose()方式
4.curl方式
5.fsockopen()函数,socket方式
6.使用开源工具,如:snoopy

PHP解析XML或HTML主要方式

1.正则表达式
2.PHP DOMDocument对象
3.插件,如:PHP Simple HTML DOM Parser

总结

这里对PHP实现爬虫的方式做个简单得总结,本篇设计到得内容还有很多,稍后会对PHP解析HTML和XML的方式做个总结。

PHP 相关文章推荐
php 常用算法和时间复杂度
Jul 01 PHP
Yii Framework框架获取分类下面的所有子类方法
Jun 20 PHP
php实现MySQL数据库备份与还原类实例
Dec 09 PHP
php计算两个日期相差天数的方法
Mar 14 PHP
PHP函数超时处理方法
Feb 14 PHP
PHP脚本自动识别验证码查询汽车违章
Dec 20 PHP
PHP正则+Snoopy抓取框架实现的抓取淘宝店信誉功能实例
May 17 PHP
Thinkphp5结合layer弹窗定制操作结果页面
Jul 07 PHP
yii2.0整合阿里云oss删除单个文件的方法
Sep 19 PHP
php使用imagecopymerge()函数创建半透明水印
Jan 25 PHP
php 处理png图片白色背景色改为透明色的实例代码
Dec 10 PHP
因str_replace导致的注入问题总结
Aug 08 PHP
PHP中static关键字以及与self关键字的区别
Jul 01 #PHP
PHP单例模式详细介绍
Jul 01 #PHP
curl和libcurl的区别简介
Jul 01 #PHP
PHP+Ajax实时自动检测是否联网的方法
Jul 01 #PHP
PHP超全局数组(Superglobals)介绍
Jul 01 #PHP
PHP中的类型提示(type hinting)功能介绍
Jul 01 #PHP
7个鲜为人知却非常实用的PHP函数
Jul 01 #PHP
You might like
php split汉字
2009/06/05 PHP
PHP面向对象概念
2011/11/06 PHP
C#使用PHP服务端的Web Service通信实例
2014/04/08 PHP
基于Laravel 5.2 regex验证的正确写法
2019/09/29 PHP
JavaScript语法着色引擎(demo及打包文件下载)
2007/06/13 Javascript
Javascript中的window.event.keyCode使用介绍
2011/04/26 Javascript
javascript二维数组转置实例
2015/01/22 Javascript
js变形金刚文字特效代码分享
2015/08/20 Javascript
JavaScript判断FileUpload控件上传文件类型
2015/09/28 Javascript
详解JS中Array对象扩展与String对象扩展
2016/01/07 Javascript
数据结构中的各种排序方法小结(JS实现)
2016/07/23 Javascript
微信小程序--onShareAppMessage分享参数用处(页面分享)
2017/04/18 Javascript
koa源码中promise的解读
2018/11/13 Javascript
如何使用 vue + d3 画一棵树
2018/12/03 Javascript
React中this丢失的四种解决方法
2019/03/12 Javascript
js实现二级联动简单实例
2020/01/11 Javascript
Vue结合路由配置递归实现菜单栏功能
2020/06/16 Javascript
JavaScript中CreateTextFile函数
2020/08/30 Javascript
jQuery实现朋友圈查看图片
2020/09/11 jQuery
jquery插件实现轮播图效果
2020/10/19 jQuery
[04:44]显微镜下的DOTA2第二期——你所没有注意到的细节
2014/06/20 DOTA
python学习手册中的python多态示例代码
2014/01/21 Python
举例讲解Python设计模式编程的代理模式与抽象工厂模式
2016/01/16 Python
python实现傅里叶级数展开的实现
2018/07/21 Python
Python整数对象实现原理详解
2019/07/01 Python
python中使用input()函数获取用户输入值方式
2020/05/03 Python
用python对excel进行操作(读,写,修改)
2020/12/25 Python
基本款天堂:Everlane
2017/05/13 全球购物
全球最大的在线旅游公司:Expedia
2017/11/16 全球购物
应届毕业生个人自我评价
2013/09/20 职场文书
员工工作表扬信范文
2014/01/13 职场文书
国贸专业的职业规划书
2014/03/15 职场文书
新年寄语大全
2014/04/12 职场文书
4s店活动策划方案
2014/08/25 职场文书
Java输出Hello World完美过程解析
2021/06/13 Java/Android
Python 图片添加美颜效果
2022/04/28 Python