一个PHP实现的轻量级简单爬虫


Posted in PHP onJuly 08, 2015

最近需要收集资料,在浏览器上用另存为的方式实在是很麻烦,而且不利于存储和检索。所以自己写了一个小爬虫,在网上爬东西,迄今为止,已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构:
   爬虫的原理其实很简单,就是分析下载的页面,找出其中的连接,然后再下载这些链接,再分析再下载,周而复始。在数据存储方面,数据库是首选,便于检索,而 开发语言,只要支持正则表达式就可以了,数据库我选择了mysql,所以,开发脚本我选择了php。它支持perl兼容正则表达式,连接mysql很方 便,支持http下载,而且windows系统和linux系统都可以部署。

正则表达式:
  正则表达式是处理文字的基本工具,要取出html中的链接和图片,使用的正则表达式如下。

   "#<a[^>]+href=(['\"])(.+)\\1#isU"   处理链接

    "#<img[^>]+src=(['\"])(.+)\\1#isU" 处理图片

其他问题:
  写爬虫还需要注意的一个问题是,对于已经下载过的url,不能重复进行下载,而有些网页的链接会形成环路,所以需要处理这个问题,我的处理方法是计算已经 处理的url的MD5 值,并存入数据库,这样就可以检验是否已经下载过。当然还有更好的算法,有兴趣的话,可以在网上找一下。

相关协议:
  爬虫也有自己的协议,有个robots.txt文件定义了那些是网站允许遍历的,但是由于我的时间有限,没有实现这个功能。

其他说明:
  php支持类编程,我写的爬虫主要的类.
  1.url处理web_site_info,主要用处理url,分析域名等。
  2.数据库操作mysql_insert.php,处理和数据库相关的操作。
  3.历史记录处理,记录已经处理的url。
  4.爬虫类。

存在的问题和不足

  这个爬虫在小数据量的情况下,运行良好,但是在大数据量的情况下,历史记录处理类的效率就不是很高,通过在数据库结构中,对相关字段进行了索引,速度有了 提高,但是需要不断得读取数据,可能和php本身的array实现有关系,如果一次加载10万条历史记录,速度非常慢。
  不支持多线程,每次只能处理一个url。
  php运行本身有内存使用量限制,有一次在抓取深度为20的页面的时候,内存用尽程序被杀。

下面的url是源码下载。

使用的时候,先在mysql中创建net_spider数据库,然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。
最后

php -f spider.php 深度(数值) url

就可以开始工作。如

php -f spider.php 20 http://news.sina.com.cn

现在感觉下来,其实做个爬虫没那么复杂,难的是数据的存储和检索。我现在的数据库,最大一个数据表已经15G,正在想办处理这些数据,mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google

<?php
#加载页面
function curl_get($url){
    $ch=curl_init();
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch,CURLOPT_HEADER,1);
    $result=curl_exec($ch);
    $code=curl_getinfo($ch,CURLINFO_HTTP_CODE);
    if($code!='404' && $result){
     return $result;
    }
    curl_close($ch);
}
#获取页面url链接
function get_page_urls($spider_page_result,$base_url){
  $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out);
  if($get_url_result){
    return $out[1];
  }else{
    return;
  }
}
#相对路径转绝对路径
function xdtojd($base_url,$url_list){
 if(is_array($url_list)){
  foreach($url_list as $url_item){
    if(preg_match("/^(http:\/\/|https:\/\/|javascript:)/",$url_item)){
      $result_url_list[]=$url_item;
    }else {
     if(preg_match("/^\//",$url_item)){
      $real_url = $base_url.$url_item;
     }else{
      $real_url = $base_url."/".$url_item;
     }
     #$real_url = 'http://www.sumpay.cn/'.$url_item; 
     $result_url_list[] = $real_url; 
    }
  }
   return $result_url_list;
 }else{
   return;
 }
}
#删除其他站点url
function other_site_url_del($jd_url_list,$url_base){
 if(is_array($jd_url_list)){
  foreach($jd_url_list as $all_url){
    echo $all_url;
    if(strpos($all_url,$url_base)===0){
     $all_url_list[]=$all_url;
    }  
  }
  return $all_url_list;
 }else{
  return;
 }
}
#删除相同URL
function url_same_del($array_url){
   if(is_array($array_url)){
     $insert_url=array();
     $pizza=file_get_contents("/tmp/url.txt");
     if($pizza){
        $pizza=explode("\r\n",$pizza);
        foreach($array_url as $array_value_url){
         if(!in_array($array_value_url,$pizza)){
          $insert_url[]=$array_value_url; 
         }
        }
        if($insert_url){
           foreach($insert_url as $key => $insert_url_value){
             #这里只做了参数相同去重处理
             $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
             foreach($pizza as $pizza_value){
                $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value);
                if($update_insert_url==$update_pizza_value){
                   unset($insert_url[$key]);
                   continue;
                }
             }
           }
        }     
     }else{
        $insert_url=array();
        $insert_new_url=array();
        $insert_url=$array_url;
        foreach($insert_url as $insert_url_value){
         $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value);
         $insert_new_url[]=$update_insert_url;  
        }
        $insert_new_url=array_unique($insert_new_url);
        foreach($insert_new_url as $key => $insert_new_url_val){
          $insert_url_bf[]=$insert_url[$key];
        } 
        $insert_url=$insert_url_bf;
     }
     return $insert_url;
   }else{
    return; 
   }
}
 
$current_url=$argv[1];
$fp_puts = fopen("/tmp/url.txt","ab");//记录url列表 
$fp_gets = fopen("/tmp/url.txt","r");//保存url列表 
$url_base_url=parse_url($current_url);
if($url_base_url['scheme']==""){
  $url_base="http://".$url_base_url['host'];
}else{
  $url_base=$url_base_url['scheme']."://".$url_base_url['host'];
}
do{
  $spider_page_result=curl_get($current_url);
  #var_dump($spider_page_result);
  $url_list=get_page_urls($spider_page_result,$url_base);
  #var_dump($url_list);
  if(!$url_list){
   continue;
  }
  $jd_url_list=xdtojd($url_base,$url_list);
  #var_dump($jd_url_list);
  $result_url_arr=other_site_url_del($jd_url_list,$url_base);
  var_dump($result_url_arr);
  $result_url_arr=url_same_del($result_url_arr); 
  #var_dump($result_url_arr); 
  if(is_array($result_url_arr)){ 
    $result_url_arr=array_unique($result_url_arr);
       foreach($result_url_arr as $new_url) { 
         fputs($fp_puts,$new_url."\r\n"); 
       }
  }
}while ($current_url = fgets($fp_gets,1024));//不断获得url 
preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out);
# echo a href
#var_dump($out[1]);
?>
PHP 相关文章推荐
推荐文章系统(一)
Oct 09 PHP
php实现无限级分类实现代码(递归方法)
Jan 01 PHP
php 判断网页是否是utf8编码的方法
Jun 06 PHP
php通过sort()函数给数组排序的方法
Mar 18 PHP
ThinkPHP文件缓存类代码分享
Apr 22 PHP
php发送html格式文本邮件的方法
Jun 10 PHP
php实现模拟post请求用法实例
Jul 11 PHP
PHP中new static()与new self()的比较
Aug 19 PHP
redirect_uri参数错误的解决方法(必看)
Feb 16 PHP
ThinkPHP中Widget扩展的两种写法及调用方法详解
May 04 PHP
关于Yii2框架跑脚本时内存泄漏问题的分析与解决
Dec 01 PHP
tp5.1 框架路由操作-URL生成实例分析
May 26 PHP
PHP设置进度条的方法
Jul 08 #PHP
smarty内部日期函数html_select_date()用法实例分析
Jul 08 #PHP
php类的定义与继承用法实例
Jul 07 #PHP
php抽象类用法实例分析
Jul 07 #PHP
PHP导入导出Excel代码
Jul 07 #PHP
一张表搞清楚php is_null、empty、isset的区别
Jul 07 #PHP
10条php编程小技巧
Jul 07 #PHP
You might like
php代码优化及php相关问题总结
2006/10/09 PHP
php SQL Injection with MySQL
2011/02/27 PHP
PHP开发不能违背的安全规则 过滤用户输入
2011/05/01 PHP
PHP中require和include路径问题详解
2014/12/25 PHP
新浪SAE搭建PHP项目教程
2015/01/28 PHP
PHP文件操作之获取目录下文件与计算相对路径的方法
2016/01/08 PHP
PHP使用new StdClass()创建空对象的方法分析
2017/06/06 PHP
JS对象与JSON格式数据相互转换
2012/02/20 Javascript
jQuery+JSON+jPlayer实现QQ空间音乐查询功能示例
2013/06/17 Javascript
node.js中的buffer.Buffer.byteLength方法使用说明
2014/12/10 Javascript
纯js实现仿QQ邮箱弹出确认框
2015/04/29 Javascript
Javascript获取数组中的最大值和最小值的方法汇总
2016/01/01 Javascript
jQuery滚动新闻实现代码
2016/06/26 Javascript
JS图片预加载插件详解
2017/06/21 Javascript
vue2利用Bus.js如何实现非父子组件通信详解
2017/08/25 Javascript
微信小程序云开发 搭建一个管理小程序
2019/05/17 Javascript
JS使用new操作符创建对象的方法分析
2019/05/30 Javascript
微信接入之获取用户头像的方法步骤
2019/09/23 Javascript
使用Layer组件弹出多个对话框(非嵌套)与关闭及刷新的例子
2019/09/25 Javascript
javascript实现获取中文汉字拼音首字母
2020/05/19 Javascript
jQuery 实现DOM元素拖拽交换位置的实例代码
2020/07/14 jQuery
手机浏览器唤起微信分享(JS)
2020/10/11 Javascript
[47:43]完美世界DOTA2联赛PWL S3 Magama vs GXR 第二场 12.19
2020/12/24 DOTA
python正则表达式抓取成语网站
2013/11/20 Python
简单的Apache+FastCGI+Django配置指南
2015/07/22 Python
使用python接入微信聊天机器人
2020/03/31 Python
如何用 Python 制作 GitHub 消息助手
2021/02/20 Python
css3.0 图形构成实例练习二
2013/03/19 HTML / CSS
全球知名的珠宝首饰品牌:Kay Jewelers
2018/02/11 全球购物
js正则匹配markdown里的图片标签的实现
2021/03/24 Javascript
劳资专员岗位职责
2013/12/27 职场文书
高中毕业生自我鉴定例文
2013/12/29 职场文书
党员民主生活会材料
2014/12/15 职场文书
安徽导游词
2015/02/12 职场文书
简单的辞职信模板
2015/05/12 职场文书
少先队工作总结2015
2015/05/13 职场文书