phpQuery采集网页实现代码实例


Posted in PHP onApril 02, 2020

前言

  平时开发中可能遇到一个问题。采集网页,小偷程序等等。各种花式秀正则的话,虽然能体现出geek,但是我觉得做事却不够优雅。采集到的网页说白了也是DOM,jQuery各种优雅地获取节点。幸好,有这个类库,帮我们解决了这个,那就是phpQuery.

为什么使用phpQuery

phpQuery是基于php5新添加的DOMDocument。而DOMDocument则是专门用来处理html/xml。它提供了强大的xpath选择器及其他很多html/xml操作函数,使得处理html/xml起来非常方便。

尤其对于新手,看到一堆”不知所云”的字符评凑在一起,有种脑袋都要炸了的感觉。如果要分离的对象没有太明显的特征,正则写起来更是麻烦。

学习成本低,jQuery是PHP程序员的标配,那么懂jQuery的话,是可以无缝衔接的,学习成本几乎为0。选择器,节点,节点信息,over

下载地址

https://code.google.com/archive/p/phpquery/downloads(需要翻墙,或者自行百度phpQuery)

实验

  既然开始了,那么就做个实验,比如我们要获取SF的所有标签名称https://segmentfault.com/tags,审查元素,得到部分标签属性。<a class="tag" data-original-title="负载均衡">负载均衡</a>

Demo

<?php
  
  require("phpQuery.php");//导入phpQuery库
  $html   = phpQuery::newDocumentFile("https://segmentfault.com/tags");
  $hrefList = pq(".tag"); //获取标签为a的所有对象$(".tag")

  foreach ($hrefList as $href) {
    echo $href->getAttribute("data-original-title"),"<br>";
  }

结果

phpQuery采集网页实现代码实例

总结

0.网页采集真特么无脑暴力,成功绕过恶心的正则

1.写法参照jQuery

2.体会Dom的思想

3.此类库并非万金油,更适合网页采集

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

PHP 相关文章推荐
第四节 构造函数和析构函数 [4]
Oct 09 PHP
使用MaxMind 根据IP地址对访问者定位
Oct 09 PHP
用PHP和ACCESS写聊天室(六)
Oct 09 PHP
用PHP动态生成虚拟现实VRML网页
Oct 09 PHP
PHP 字符串 小常识
Jun 05 PHP
PHP 面向对象详解
Sep 13 PHP
php使用str_replace实现输入框回车替换br的方法
Nov 24 PHP
浅谈php提交form表单
Jul 01 PHP
Zend Framework教程之资源(Resources)用法实例详解
Mar 14 PHP
php使用array_chunk函数将一个数组分割成多个数组
Dec 05 PHP
PHP基于curl实现模拟微信浏览器打开微信链接的方法示例
Feb 15 PHP
PHP实现的62进制转10进制,10进制转62进制函数示例
Jun 06 PHP
通过PHP的Wrapper无缝迁移原有项目到新服务的实现方法
Apr 02 #PHP
php计数排序算法的实现代码(附四个实例代码)
Mar 31 #PHP
php设计模式之观察者模式实例详解【星际争霸游戏案例】
Mar 30 #PHP
TP5框架实现上传多张图片的方法分析
Mar 29 #PHP
thinkphp框架无限级栏目的排序功能实现方法示例
Mar 29 #PHP
php查看一个变量的占用内存的实例代码
Mar 29 #PHP
tp5框架前台无限极导航菜单类实现方法分析
Mar 29 #PHP
You might like
多个iframe自动调整大小的问题
2006/09/18 Javascript
基于jquery的给文章加入关键字链接
2010/10/26 Javascript
js判断浏览器类型的方法
2013/08/07 Javascript
分享一则javascript 调试技巧
2015/01/02 Javascript
JavaScript实现把rgb颜色转换成16进制颜色的方法
2015/06/01 Javascript
jquery实现图片预加载
2015/12/25 Javascript
原生javascript实现addClass,removeClass,hasClass函数
2016/02/25 Javascript
Bootstrap在线电子商务网站实战项目5
2016/10/14 Javascript
JS+CSS3制作炫酷的弹窗效果
2016/11/08 Javascript
微信小程序实战之运维小项目
2017/01/17 Javascript
基于vue2.0实现仿百度前端分页效果附实现代码
2018/10/30 Javascript
Vue动态面包屑功能的实现方法
2019/07/01 Javascript
node.js爬虫框架node-crawler初体验
2020/10/29 Javascript
[04:29]2014DOTA2国际邀请赛 主赛事第三日TOPPLAY
2014/07/21 DOTA
python选择排序算法的实现代码
2013/11/21 Python
Python抓取百度查询结果的方法
2015/07/08 Python
Python实现采用进度条实时显示处理进度的方法
2017/12/19 Python
python 对key为时间的dict排序方法
2018/10/17 Python
Python异步操作MySQL示例【使用aiomysql】
2019/05/16 Python
python系列 文件操作的代码
2019/10/06 Python
Python urlencode和unquote函数使用实例解析
2020/03/31 Python
如何在windows下安装Pycham2020软件(方法步骤详解)
2020/05/03 Python
python爬虫分布式获取数据的实例方法
2020/11/26 Python
html5+css如何实现中间大两头小的轮播效果
2018/12/06 HTML / CSS
美国高档帽子网上商店:Hats.com
2018/08/09 全球购物
常用UNIX 命令(Linux的常用命令)
2015/12/26 面试题
酒店司机岗位职责
2013/12/14 职场文书
招商业务员岗位职责
2013/12/16 职场文书
《蓝色的树叶》教学反思
2014/02/24 职场文书
慈善晚会策划方案
2014/05/14 职场文书
放飞梦想演讲稿200字
2014/08/26 职场文书
运动会广播稿100字
2014/09/14 职场文书
2014年国庆晚会主持词
2014/09/19 职场文书
2015年度信用社工作总结
2015/05/04 职场文书
2016年中秋节寄语大全
2015/12/07 职场文书
Java输出Hello World完美过程解析
2021/06/13 Java/Android