PHPCrawl爬虫库实现抓取酷狗歌单的方法示例


Posted in PHP onDecember 21, 2017

本文实例讲述了PHPCrawl爬虫库实现抓取酷狗歌单的方法。分享给大家供大家参考,具体如下:

本人看了网络爬虫相关的视频后,手痒痒,想爬点什么。最近Facebook上表情包大战很激烈,就想着把所有表情包都爬下来,却一时没有找到合适的VPN,因此把酷狗最近一月精选歌曲和简单介绍抓取到本地。代码写得有点乱,自己不是很满意,并不想放上来丢人现眼。不过转念一想,这好歹是自己第一次爬虫,于是...就有了如下不堪入目的代码~~~(由于抓取的数据量较小,所以没有考虑多进程什么的,不过我看了一下PHPCrawl的文档,发现PHPCrawl库已经把我能想到的功能都封装好了,实现起来很方便)

<?php
header("Content-type:text/html;charset=utf-8");
// It may take a whils to crawl a site ...
set_time_limit(10000);
include("libs/PHPCrawler.class.php");
class MyCrawler extends PHPCrawler {
  function handleDocumentInfo($DocInfo) {
    // Just detect linebreak for output ("\n" in CLI-mode, otherwise "<br>").
    if (PHP_SAPI == "cli") $lb = "\n";
    else $lb = "<br />";
    $url = $DocInfo->url;
    $pat = "/http:\/\/www\.kugou\.com\/yy\/special\/single\/\d+\.html/";
    if(preg_match($pat,$url) > 0){
    $this->parseSonglist($DocInfo);
    }
    flush();
  }
  public function parseSonglist($DocInfo){
    $content = $DocInfo->content;
    $songlistArr = array();
    $songlistArr['raw_url'] = $DocInfo->url;
    //解析歌曲介绍
    $matches = array();
    $pat = "/<span>名称:<\/span>([^(<br)]+)<br/";
    $ret = preg_match($pat,$content,$matches);
    if($ret>0){
      $songlistArr['title'] = $matches[1];
    }else{
      $songlistArr['title'] = '';
    }
    //解析歌曲
    $pat = "/<a title=\"([^\"]+)\" hidefocus=\"/";
    $matches = array();
    preg_match_all($pat,$content,$matches);
    $songlistArr['songs'] = array();
    for($i = 0;$i < count($matches[0]);$i++){
      $song_title = $matches[1][$i];
      array_push($songlistArr['songs'],array('title'=>$song_title));
    }
    echo "<pre>";
    print_r($songlistArr);
    echo "</pre>";
    }
  }
$crawler = new MyCrawler();
// URL to crawl
$start_url="http://www.kugou.com/yy/special/index/1-0-2.html";
$crawler->setURL($start_url);
// Only receive content of files with content-type "text/html"
$crawler->addContentTypeReceiveRule("#text/html#");
//链接扩展
$crawler->addURLFollowRule("#http://www\.kugou\.com/yy/special/single/\d+\.html$# i");
$crawler->addURLFollowRule("#http://www.kugou\.com/yy/special/index/\d+-\d+-2\.html$# i");
// Store and send cookie-data like a browser does
$crawler->enableCookieHandling(true);
// Set the traffic-limit to 1 MB(1000 * 1024) (in bytes,
// for testing we dont want to "suck" the whole site)
//爬取大小无限制
$crawler->setTrafficLimit(0);
// Thats enough, now here we go
$crawler->go();
// At the end, after the process is finished, we print a short
// report (see method getProcessReport() for more information)
$report = $crawler->getProcessReport();
if (PHP_SAPI == "cli") $lb = "\n";
else $lb = "<br />";
echo "Summary:".$lb;
echo "Links followed: ".$report->links_followed.$lb;
echo "Documents received: ".$report->files_received.$lb;
echo "Bytes received: ".$report->bytes_received." bytes".$lb;
echo "Process runtime: ".$report->process_runtime." sec".$lb; 
?>
PHP 相关文章推荐
PHP 采集程序原理分析篇
Mar 05 PHP
《PHP编程最快明白》第三讲:php数组
Nov 01 PHP
深入探讨PHP中的内存管理问题
Aug 31 PHP
初品cakephp 入门基础
Feb 16 PHP
PHP中设置时区方法小结
Jun 03 PHP
php创建sprite
Feb 11 PHP
php使用smtp发送支持附件的邮件示例
Apr 13 PHP
PHP实现的简单三角形、矩形周长面积计算器分享
Nov 18 PHP
PHP+HTML+JavaScript+Css实现简单爬虫开发
Mar 28 PHP
php的4种常用运行方式详解
Dec 22 PHP
PHP微信企业号开发之回调模式开启与用法示例
Nov 25 PHP
PHP实现负载均衡下的session共用功能
Apr 17 PHP
在云虚拟主机部署thinkphp5项目的步骤详解
Dec 21 #PHP
php获取微信共享收货地址的方法
Dec 21 #PHP
php实现socket推送技术的示例
Dec 20 #PHP
PHP实现模拟http请求的方法分析
Dec 20 #PHP
php封装db类连接sqlite3数据库的方法实例
Dec 19 #PHP
PHP性能分析工具xhprof的安装使用与注意事项
Dec 19 #PHP
PHP实现的最大正向匹配算法示例
Dec 19 #PHP
You might like
用PHP读取flv文件的播放时间长度
2009/09/03 PHP
解析用PHP实现var_export的详细介绍
2013/06/20 PHP
CodeIgniter上传图片成功的全部过程分享
2013/08/12 PHP
PHP基于ICU扩展intl快速实现汉字转拼音及按拼音首字母分组排序的方法
2017/05/03 PHP
PHP仿qq空间或朋友圈发布动态、评论动态、回复评论、删除动态或评论的功能(上)
2017/05/26 PHP
PHP构造二叉树算法示例
2017/06/21 PHP
PHP addslashes()函数讲解
2019/02/03 PHP
fromCharCode和charCodeAt 方法
2006/12/27 Javascript
Javascript base64编码实现代码
2011/12/02 Javascript
jQuery jcrop插件截图使用方法
2013/11/20 Javascript
网站接入QQ登录的两种方法
2014/07/22 Javascript
由ReactJS的Hello world说开来
2015/07/02 Javascript
利用jQuery中的ajax分页实现代码
2016/02/25 Javascript
jQuery EasyUI Tab 选项卡问题小结
2016/08/16 Javascript
SVG实现时钟效果
2018/07/17 Javascript
vue用递归组件写树形控件的实例代码
2018/07/19 Javascript
vue路由切换时取消之前的所有请求操作
2020/09/01 Javascript
使用wxpython实现的一个简单图片浏览器实例
2014/07/10 Python
Python单链表简单实现代码
2016/04/27 Python
插入排序_Python与PHP的实现版(推荐)
2017/05/11 Python
Python中列表list以及list与数组array的相互转换实现方法
2017/09/22 Python
用python实现对比两张图片的不同
2018/02/05 Python
解决pyinstaller打包exe文件出现命令窗口一闪而过的问题
2018/10/31 Python
python下的opencv画矩形和文字注释的实现方法
2019/07/09 Python
Python内置方法实现字符串的秘钥加解密(推荐)
2019/12/09 Python
CSS3 开发工具收集
2010/04/17 HTML / CSS
美国女鞋品牌:naturalizer(娜然)
2016/08/01 全球购物
Boda Skins皮衣官网:奢侈皮夹克,全球配送
2016/12/15 全球购物
宝信软件JAVA工程师面试经历
2012/08/19 面试题
Servlet面试题库
2015/07/18 面试题
学校安全工作制度
2014/01/19 职场文书
2015年学校政教工作总结
2015/07/20 职场文书
关爱留守儿童主题班会
2015/08/13 职场文书
SpringCloud Alibaba项目实战之nacos-server服务搭建过程
2021/06/21 Java/Android
浅谈Redis 中的过期删除策略和内存淘汰机制
2022/04/03 Redis
使用CSS实现六边形的图片效果
2022/08/05 HTML / CSS