PHPCrawl爬虫库实现抓取酷狗歌单的方法示例


Posted in PHP onDecember 21, 2017

本文实例讲述了PHPCrawl爬虫库实现抓取酷狗歌单的方法。分享给大家供大家参考,具体如下:

本人看了网络爬虫相关的视频后,手痒痒,想爬点什么。最近Facebook上表情包大战很激烈,就想着把所有表情包都爬下来,却一时没有找到合适的VPN,因此把酷狗最近一月精选歌曲和简单介绍抓取到本地。代码写得有点乱,自己不是很满意,并不想放上来丢人现眼。不过转念一想,这好歹是自己第一次爬虫,于是...就有了如下不堪入目的代码~~~(由于抓取的数据量较小,所以没有考虑多进程什么的,不过我看了一下PHPCrawl的文档,发现PHPCrawl库已经把我能想到的功能都封装好了,实现起来很方便)

<?php
header("Content-type:text/html;charset=utf-8");
// It may take a whils to crawl a site ...
set_time_limit(10000);
include("libs/PHPCrawler.class.php");
class MyCrawler extends PHPCrawler {
  function handleDocumentInfo($DocInfo) {
    // Just detect linebreak for output ("\n" in CLI-mode, otherwise "<br>").
    if (PHP_SAPI == "cli") $lb = "\n";
    else $lb = "<br />";
    $url = $DocInfo->url;
    $pat = "/http:\/\/www\.kugou\.com\/yy\/special\/single\/\d+\.html/";
    if(preg_match($pat,$url) > 0){
    $this->parseSonglist($DocInfo);
    }
    flush();
  }
  public function parseSonglist($DocInfo){
    $content = $DocInfo->content;
    $songlistArr = array();
    $songlistArr['raw_url'] = $DocInfo->url;
    //解析歌曲介绍
    $matches = array();
    $pat = "/<span>名称:<\/span>([^(<br)]+)<br/";
    $ret = preg_match($pat,$content,$matches);
    if($ret>0){
      $songlistArr['title'] = $matches[1];
    }else{
      $songlistArr['title'] = '';
    }
    //解析歌曲
    $pat = "/<a title=\"([^\"]+)\" hidefocus=\"/";
    $matches = array();
    preg_match_all($pat,$content,$matches);
    $songlistArr['songs'] = array();
    for($i = 0;$i < count($matches[0]);$i++){
      $song_title = $matches[1][$i];
      array_push($songlistArr['songs'],array('title'=>$song_title));
    }
    echo "<pre>";
    print_r($songlistArr);
    echo "</pre>";
    }
  }
$crawler = new MyCrawler();
// URL to crawl
$start_url="http://www.kugou.com/yy/special/index/1-0-2.html";
$crawler->setURL($start_url);
// Only receive content of files with content-type "text/html"
$crawler->addContentTypeReceiveRule("#text/html#");
//链接扩展
$crawler->addURLFollowRule("#http://www\.kugou\.com/yy/special/single/\d+\.html$# i");
$crawler->addURLFollowRule("#http://www.kugou\.com/yy/special/index/\d+-\d+-2\.html$# i");
// Store and send cookie-data like a browser does
$crawler->enableCookieHandling(true);
// Set the traffic-limit to 1 MB(1000 * 1024) (in bytes,
// for testing we dont want to "suck" the whole site)
//爬取大小无限制
$crawler->setTrafficLimit(0);
// Thats enough, now here we go
$crawler->go();
// At the end, after the process is finished, we print a short
// report (see method getProcessReport() for more information)
$report = $crawler->getProcessReport();
if (PHP_SAPI == "cli") $lb = "\n";
else $lb = "<br />";
echo "Summary:".$lb;
echo "Links followed: ".$report->links_followed.$lb;
echo "Documents received: ".$report->files_received.$lb;
echo "Bytes received: ".$report->bytes_received." bytes".$lb;
echo "Process runtime: ".$report->process_runtime." sec".$lb; 
?>
PHP 相关文章推荐
PHP的面试题集
Nov 19 PHP
用Zend Encode编写开发PHP程序
Feb 21 PHP
PHP使用数组实现队列
Feb 05 PHP
深入PHP与浏览器缓存的分析
Jun 03 PHP
解决PHP超大文件下载,断点续传下载的方法详解
Jun 06 PHP
深入PHP变量存储的详解
Jun 13 PHP
mac下Apache + MySql + PHP搭建网站开发环境
Jun 02 PHP
mac环境中使用brew安装php5.5.15
Aug 18 PHP
Java和PHP在Web开发方面对比分析
Mar 01 PHP
PHP5.3以上版本安装ZendOptimizer扩展
Mar 27 PHP
老生常谈PHP 文件写入和读取(必看篇)
May 22 PHP
laravel 5异常错误:FatalErrorException in Handler.php line 38的解决
Oct 12 PHP
在云虚拟主机部署thinkphp5项目的步骤详解
Dec 21 #PHP
php获取微信共享收货地址的方法
Dec 21 #PHP
php实现socket推送技术的示例
Dec 20 #PHP
PHP实现模拟http请求的方法分析
Dec 20 #PHP
php封装db类连接sqlite3数据库的方法实例
Dec 19 #PHP
PHP性能分析工具xhprof的安装使用与注意事项
Dec 19 #PHP
PHP实现的最大正向匹配算法示例
Dec 19 #PHP
You might like
php目录管理函数小结
2008/09/10 PHP
PHP删除数组中特定元素的两种方法
2013/07/02 PHP
laravel框架中表单请求类型和CSRF防护实例分析
2019/11/23 PHP
JavaScript XML操作 封装类
2009/07/01 Javascript
用JavaScript实现一个代码简洁、逻辑不复杂的多级树
2014/05/23 Javascript
javascript模拟map输出与去除重复项的方法
2015/02/09 Javascript
JS实现从连接中获取youtube的key实例
2015/07/02 Javascript
BootStrapValidator校验方式
2016/12/19 Javascript
Vue的百度地图插件尝试使用
2017/09/06 Javascript
JavaScript实现树的遍历算法示例【广度优先与深度优先】
2017/10/26 Javascript
Vue-cli3项目配置Vue.config.js实战记录
2018/07/29 Javascript
在Vue-cli里应用Vuex的state和mutations方法
2018/09/16 Javascript
[01:05]DOTA2完美大师赛趣味视频之选手教你打职业
2017/11/23 DOTA
[53:38]OG vs LGD 2018国际邀请赛淘汰赛BO3 第三场 8.26
2018/08/30 DOTA
一篇不错的Python入门教程
2007/02/08 Python
数据挖掘之Apriori算法详解和Python实现代码分享
2014/11/07 Python
网站渗透常用Python小脚本查询同ip网站
2017/05/08 Python
Python实现求数列和的方法示例
2018/01/12 Python
用python实现百度翻译的示例代码
2018/03/09 Python
Python实现的线性回归算法示例【附csv文件下载】
2018/12/29 Python
Python设计模式之迭代器模式原理与用法实例分析
2019/01/10 Python
GitHub上值得推荐的8个python 项目
2020/10/30 Python
用HTML5 Canvas API中的clearRect()方法实现橡皮擦功能
2016/03/15 HTML / CSS
美国酒店控股公司:Choice Hotels
2018/06/15 全球购物
北大自主招生自荐信
2013/10/19 职场文书
班级道德讲堂实施方案
2014/02/24 职场文书
六五普法规划实施方案
2014/03/21 职场文书
给校长的建议书500字
2014/05/15 职场文书
排查整治工作方案
2014/06/09 职场文书
公司委托书怎么写
2014/08/02 职场文书
学校拾金不昧表扬信
2015/01/16 职场文书
艺术节开幕词
2015/01/28 职场文书
2015社区六五普法工作总结
2015/04/21 职场文书
廉洁自律准则学习心得体会
2016/01/13 职场文书
MySQL慢查询优化解决问题
2022/03/17 MySQL
Java GUI编程菜单组件实例详解
2022/04/07 Java/Android