百万级别知乎用户数据抓取与分析之PHP开发


Posted in PHP onSeptember 28, 2015

这次抓取了110万的用户数据,数据分析结果如下:

百万级别知乎用户数据抓取与分析之PHP开发

开发前的准备

安装Linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu;

安装PHP5.6或以上版本;

安装curl、pcntl扩展。

使用PHP的curl扩展抓取页面数据

PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面,我是用了自己的cookie,在页面中可以看到自己的cookie信息:

 百万级别知乎用户数据抓取与分析之PHP开发

一个个地复制,以"__utma=?;__utmb=?;"这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

初始的示例:

$url = 'http://www.zhihu.com/people/mora-hu/about'; //此处mora-hu代表用户ID
  $ch = curl_init($url); //初始化会话
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']); //设置请求COOKIE
  curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回,而不是直接输出。
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); 
  $result = curl_exec($ch);
  return $result; //抓取的结果

运行上面的代码可以获得mora-hu用户的个人中心页面。利用该结果再使用正则表达式对页面进行处理,就能获取到姓名,性别等所需要抓取的信息。

图片防盗链

在对返回结果进行正则处理后输出个人信息的时候,发现在页面中输出用户头像时无法打开。经过查阅资料得知,是因为知乎对图片做了防盗链处理。解决方案就是请求图片的时候在请求头里伪造一个referer。

在使用正则表达式获取到图片的链接之后,再发一次请求,这时候带上图片请求的来源,说明该请求来自知乎网站的转发。具体例子如下:

function getImg($url, $u_id)
{
  if (file_exists('./images/' . $u_id . ".jpg"))
  {
    return "images/$u_id" . '.jpg';
  }
  if (empty($url))
  {
    return '';
  }
  $context_options = array( 
    'http' => 
    array(
      'header' => "Referer:http://www.zhihu.com"//带上referer参数 
  )
);
   
  $context = stream_context_create($context_options); 
  $img = file_get_contents('http:' . $url, FALSE, $context);
  file_put_contents('./images/' . $u_id . ".jpg", $img);
  return "images/$u_id" . '.jpg';
}

抓取了自己的个人信息后,就需要再访问用户的关注者和关注了的用户列表获取更多的用户信息。然后一层一层地访问。可以看到,在个人中心页面里,有两个链接如下:

百万级别知乎用户数据抓取与分析之PHP开发

这里有两个链接,一个是关注了,另一个是关注者,以“关注了”的链接为例。用正则匹配去匹配到相应的链接,得到url之后用curl带上cookie再发一次请求。抓取到用户关注了的用于列表页之后,可以得到下面的页面:

百万级别知乎用户数据抓取与分析之PHP开发

分析页面的html结构,因为只要得到用户的信息,所以只需要框住的这一块的div内容,用户名都在这里面。可以看到,用户关注了的页面的url是:

百万级别知乎用户数据抓取与分析之PHP开发

不同的用户的这个url几乎是一样的,不同的地方就在于用户名那里。用正则匹配拿到用户名列表,一个一个地拼url,然后再逐个发请求(当然,一个一个是比较慢的,下面有解决方案,这个稍后会说到)。进入到新用户的页面之后,再重复上面的步骤,就这样不断循环,直到达到你所要的数据量。

Linux统计文件数量

脚本跑了一段时间后,需要看看究竟获取了多少图片,当数据量比较大的时候,打开文件夹查看图片数量就有点慢。脚本是在Linux环境下运行的,因此可以使用Linux的命令来统计文件数量:

ls -l | grep "^-" | wc -l

其中, ls -l 是长列表输出该目录下的文件信息(这里的文件可以是目录、链接、设备文件等); grep "^-" 过滤长列表输出信息, "^-"  只保留一般文件,如果只保留目录是 "^d" ; wc -l 是统计输出信息的行数。下面是一个运行示例:

百万级别知乎用户数据抓取与分析之PHP开发

插入MySQL时重复数据的处理

程序运行了一段时间后,发现有很多用户的数据是重复的,因此需要在插入重复用户数据的时候做处理。处理方案如下:

1)插入数据库之前检查数据是否已经存在数据库;

2)添加唯一索引,插入时使用 INSERT INTO ... ON DUPLICATE KEY UPDATE...

3)添加唯一索引,插入时使用 INSERT INGNORE INTO...

4)添加唯一索引,插入时使用 REPLACE INTO...

使用curl_multi实现多线程抓取页面

刚开始单进程而且单个curl去抓取数据,速度很慢,挂机爬了一个晚上只能抓到2W的数据,于是便想到能不能在进入新的用户页面发curl请求的时候一次性请求多个用户,后来发现了curl_multi这个好东西。curl_multi这类函数可以实现同时请求多个url,而不是一个个请求,这类似于linux系统中一个进程开多条线程执行的功能。下面是使用curl_multi实现多线程爬虫的示例:

$mh = curl_multi_init(); //返回一个新cURL批处理句柄
    for ($i = ; $i < $max_size; $i++)
    {
      $ch = curl_init(); //初始化单个cURL会话
      curl_setopt($ch, CURLOPT_HEADER, );
      curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
      curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
      curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/. (Windows NT .; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/... Safari/.');
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, );
      $requestMap[$i] = $ch;
      curl_multi_add_handle($mh, $ch); //向curl批处理会话中添加单独的curl句柄
    }
    $user_arr = array();
    do {
            //运行当前 cURL 句柄的子连接
      while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM);
      if ($cme != CURLM_OK) {break;}
            //获取当前解析的cURL的相关传输信息
      while ($done = curl_multi_info_read($mh))
      {
        $info = curl_getinfo($done['handle']);
        $tmp_result = curl_multi_getcontent($done['handle']);
        $error = curl_error($done['handle']);
        $user_arr[] = array_values(getUserInfo($tmp_result));
        //保证同时有$max_size个请求在处理
        if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))
        {
          $ch = curl_init();
          curl_setopt($ch, CURLOPT_HEADER, );
          curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
          curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
          curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/. (Windows NT .; WOW) AppleWebKit/. (KHTML, like Gecko) Chrome/... Safari/.');
          curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
          curl_setopt($ch, CURLOPT_FOLLOWLOCATION, );
          $requestMap[$i] = $ch;
          curl_multi_add_handle($mh, $ch);
          $i++;
        }
        curl_multi_remove_handle($mh, $done['handle']);
      }
      if ($active)
        curl_multi_select($mh, );
    } while ($active);
    curl_multi_close($mh);
    return $user_arr;

HTTP 429 Too Many Requests

使用curl_multi函数可以同时发多个请求,但是在执行过程中使同时发200个请求的时候,发现很多请求无法返回了,即发现了丢包的情况。进一步分析,使用 curl_getinfo 函数打印每个请求句柄信息,该函数返回一个包含HTTP response信息的关联数组,其中有一个字段是http_code,表示请求返回的HTTP状态码。看到有很多个请求的http_code都是429,这个返回码的意思是发送太多请求了。我猜是知乎做了防爬虫的防护,于是我就拿其他的网站来做测试,发现一次性发200个请求时没问题的,证明了我的猜测,知乎在这方面做了防护,即一次性的请求数量是有限制的。于是我不断地减少请求数量,发现在5的时候就没有丢包情况了。说明在这个程序里一次性最多只能发5个请求,虽然不多,但这也是一次小提升了。

使用Redis保存已经访问过的用户

抓取用户的过程中,发现有些用户是已经访问过的,而且他的关注者和关注了的用户都已经获取过了,虽然在数据库的层面做了重复数据的处理,但是程序还是会使用curl发请求,这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行,刚开始是放到数组里面,后来发现要在程序里添加多进程,在多进程编程里,子进程会共享程序代码、函数库,但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变量是分离的,不能被其他进程读取,所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候都把用户push到一个already_request_queue队列中,把待抓取的用户(即每个用户的关注者和关注了的用户列表)push到request_queue里面,然后每次执行前都从request_queue里pop一个用户,然后判断是否在already_request_queue里面,如果在,则进行下一个,否则就继续执行。

在PHP中使用redis示例:

<?php
  $redis = new Redis();
  $redis->connect('127.0.0.1', '6379');
  $redis->set('tmp', 'value');
  if ($redis->exists('tmp'))
  {
    echo $redis->get('tmp') . "\n";
  }

使用PHP的pcntl扩展实现多进程

改用了curl_multi函数实现多线程抓取用户信息之后,程序运行了一个晚上,最终得到的数据有10W。还不能达到自己的理想目标,于是便继续优化,后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例:

//PHP多进程demo
  //fork10个进程
  for ($i = 0; $i < 10; $i++) {
    $pid = pcntl_fork();
    if ($pid == -1) {
      echo "Could not fork!\n";
      exit(1);
    }
    if (!$pid) {
      echo "child process $i running\n";
      //子进程执行完毕之后就退出,以免继续fork出新的子进程
      exit($i);
    }
  }
  //等待子进程执行完毕,避免出现僵尸进程
  while (pcntl_waitpid(0, $status) != -1) {
    $status = pcntl_wexitstatus($status);
    echo "Child $status completed\n";
  }

在Linux下查看系统的cpu信息

实现了多进程编程之后,就想着多开几条进程不断地抓取用户的数据,后来开了8调进程跑了一个晚上后发现只能拿到20W的数据,没有多大的提升。于是查阅资料发现,根据系统优化的CPU性能调优,程序的最大进程数不能随便给的,要根据CPU的核数和来给,最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在Linux下查看cpu的信息的命令:

cat /proc/cpuinfo

百万级别知乎用户数据抓取与分析之PHP开发

其中,model name表示cpu类型信息,cpu cores表示cpu核数。这里的核数是1,因为是在虚拟机下运行,分配到的cpu核数比较少,因此只能开2条进程。最终的结果是,用了一个周末就抓取了110万的用户数据。

多进程编程中Redis和MySQL连接问题

在多进程条件下,程序运行了一段时间后,发现数据不能插入到数据库,会报mysql too many connections的错误,redis也是如此。

下面这段代码会执行失败:

<?php
   for ($i = 0; $i < 10; $i++) {
     $pid = pcntl_fork();
     if ($pid == -1) {
        echo "Could not fork!\n";
        exit(1);
     }
     if (!$pid) {
        $redis = PRedis::getInstance();
        // do something   
        exit;
     }
   }

根本原因是在各个子进程创建时,就已经继承了父进程一份完全一样的拷贝。对象可以拷贝,但是已创建的连接不能被拷贝成多个,由此产生的结果,就是各个进程都使用同一个redis连接,各干各的事,最终产生莫名其妙的冲突。

解决方法:
     程序不能完全保证在fork进程之前,父进程不会创建redis连接实例。因此,要解决这个问题只能靠子进程本身了。试想一下,如果在子进程中获取的实例只与当前进程相关,那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式,与当前进程ID绑定起来。
改造后的代码如下:

<?php
   public static function getInstance() {
     static $instances = array();
     $key = getmypid();//获取当前进程ID
     if ($empty($instances[$key])) {
        $inctances[$key] = new self();
     }
   
     return $instances[$key];
   }

PHP统计脚本执行时间

因为想知道每个进程花费的时间是多少,因此写个函数统计脚本执行时间:

function microtime_float()
{
   list($u_sec, $sec) = explode(' ', microtime());
   return (floatval($u_sec) + floatval($sec));
}
$start_time = microtime_float();
//do something
usleep(100);
$end_time = microtime_float();
$total_time = $end_time - $start_time;
$time_cost = sprintf("%.10f", $total_time);
echo "program cost total " . $time_cost . "s\n";
PHP 相关文章推荐
php date与gmdate的获取日期的区别
Feb 08 PHP
PHP 删除一个目录及目录下的所有文件的函数代码
May 26 PHP
php使用curl抓取qq空间的访客信息示例
Feb 28 PHP
PHP的变量类型和作用域详解
Mar 12 PHP
php上传图片之时间戳命名(保存路径)
Aug 15 PHP
PHP SESSION的增加、删除、修改、查看操作
Mar 20 PHP
深入探究PHP的多进程编程方法
Aug 18 PHP
smarty学习笔记之常见代码段用法总结
Mar 19 PHP
thinkphp3.2实现上传图片的控制器方法
Apr 28 PHP
PHP面试常用算法(推荐)
Jul 22 PHP
PHP基于imagick扩展实现合成图片的两种方法【附imagick扩展下载】
Nov 14 PHP
Laravel jwt 多表(多用户端)验证隔离的实现
Dec 18 PHP
培养自己的php编码规范
Sep 28 #PHP
ThinkPHP数据操作方法总结
Sep 28 #PHP
ThinkPHP表单数据智能写入create方法实例分析
Sep 27 #PHP
PHP+MySQL之Insert Into数据插入用法分析
Sep 27 #PHP
ThinkPHP中数据操作案例分析
Sep 27 #PHP
PHP中两个float(浮点数)比较实例分析
Sep 27 #PHP
用php代码限制国内IP访问我们网站
Sep 26 #PHP
You might like
PHP var_dump遍历对象属性的函数与应用代码
2010/06/04 PHP
php新建文件自动编号的思路与实现
2011/06/27 PHP
7个超级实用的PHP代码片段
2011/07/11 PHP
php调用mysql存储过程实例分析
2014/12/29 PHP
PHP实现全角字符转为半角方法汇总
2015/07/09 PHP
php导出生成word的方法
2015/12/25 PHP
Yii2处理密码加密及验证的方法
2019/05/12 PHP
gearman中任务的优先级和返回状态实例分析
2020/02/27 PHP
基于jquery的获取mouse坐标插件的实现代码
2010/04/01 Javascript
js列举css中所有图标的实现代码
2011/07/04 Javascript
Ext.get() 和 Ext.query()组合使用实现最灵活的取元素方式
2011/09/26 Javascript
网站繁简切换的JS遇到页面卡死的解决方法
2014/03/12 Javascript
jQuery中remove()方法用法实例
2014/12/25 Javascript
JS+CSS实现另类带提示效果的竖向导航菜单
2015/10/15 Javascript
jQuery Ajax使用FormData对象上传文件的方法
2016/09/07 Javascript
JS制作适用于手机和电脑的通知信息效果
2016/10/28 Javascript
node.js缺少mysql模块运行报错的解决方法
2016/11/13 Javascript
es6学习笔记之Async函数的使用示例
2017/05/11 Javascript
用vue的双向绑定简单实现一个todo-list的示例代码
2017/08/03 Javascript
浅谈Angular文字折叠展开组件的原理分析
2017/11/24 Javascript
对Angular中单向数据流的深入理解
2018/03/31 Javascript
浅谈webpack 构建性能优化策略小结
2018/06/13 Javascript
vue实现随机验证码功能的实例代码
2019/04/30 Javascript
微信小程序动态添加view组件的实例代码
2019/05/23 Javascript
[43:58]DOTA2上海特级锦标赛C组败者赛 Newbee VS Archon第二局
2016/02/27 DOTA
python实现名片管理系统
2018/11/29 Python
Python函数中不定长参数的写法
2019/02/13 Python
Python中免验证跳转到内容页的实例代码
2020/10/23 Python
如何在vscode中安装python库的方法步骤
2021/01/06 Python
Trina Turk官网:美国时装和泳装品牌
2018/06/10 全球购物
中专自荐信
2013/10/13 职场文书
客服文员岗位职责
2013/11/29 职场文书
大学生党员自我评价范文
2014/04/09 职场文书
科技工作者先进事迹
2014/08/16 职场文书
学校领导班子群众路线整改措施
2014/09/16 职场文书
2015年学校教育教学工作总结
2015/04/22 职场文书