利用PHP抓取百度阅读的方法示例


Posted in PHP onDecember 18, 2016

前言

这篇文章主要介绍的是,如何利用PHP抓取百度阅读的方法,下面话不多说,来一起看看吧。

抓取方法如下

首先在浏览器里打开阅读页面,查看源代码后发现小说的内容并不是直接写在页面里的,也就是说小说的内容是通过异步加载而来的。

于是将chrome的开发者工具切到network一栏,刷新阅读页面,主要关注的是XHR和script两个分类下。

经过排查,发现在script分类下有个jsonp请求比较像是小说内容,请求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一个jsonp字符串,然后我发现,如果把地址里面的callback=wenku7去掉,返回的就是一个json字符串,这样解析起来就方便不少,可以直接在php里面转换成数组。

再来分析一下返回数据的结构,返回的json字符串之后是一个树状的结构,每个节点都有一个t属性和c属性,t属性用来指明这个节点的标签,比如h2 div等等,c属性就是内容了,但也有两种可能,一个是字符串,另一个是数组,数组的每个元素都是一个节点。

这种结构最好解析了,用一个递归就搞定

最终代码如下:

<?php
class BaiduYuedu {
 protected $bookId;
 protected $bookToken;
 protected $cookie;
 protected $result;
 public function __construct($bookId, $bookToken, $cookie){
  $this->bookId = $bookId;
  $this->bookToken = $bookToken;
  $this->cookie = $cookie;
 }
 public static function parseNode($node){
  $str = '';
  if(is_string($node['c'])){
   $str .= $node['c'];
  }else if(is_array($node['c'])){
   foreach($node['c'] as $d){
    $str .= self::parseNode($d);
   }
  }
  switch($node['t']){
   case 'h2':
    $str .= "\n\n";
    break;
   case 'br':
   case 'div':
   case 'p':
    $str .= "\n";
    break;
   case 'img':
   case 'span':
    break;
   case 'obj':
    $tmp = '(' . self::parseNode($node['data'][0]) . ')';
    $str .= str_replace("\n", '', $tmp);
    break;
   default:
    trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);
    break;
  }
  return $str;
 }
 public function get($page = 1){
  echo "getting page {$page}...\n";
  $ch = curl_init();
  $url = sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d', $this->bookId, $this->token, $page);
  curl_setopt_array($ch, array(
   CURLOPT_URL   => $url,
   CURLOPT_RETURNTRANSFER => 1,
   CURLOPT_HEADER   => 0,
   CURLOPT_HTTPHEADER  => array('Cookie: '. $this->cookie)
  ));
  $ret = json_decode(curl_exec($ch), true);
  curl_close($ch);
  $str = '';
  if(!empty($ret)){
   $str .= self::parseNode($ret);
   $str .= $this->get($page + 1);
  }
  return $str;
 }
 public function start(){
  $this->result = $this->get();
 }
 public function getResult(){
  return $this->result;
 }
 public function saveTo($path){
  if(empty($this->result)){
   trigger_error('Result is empty', E_USER_ERROR);
   return;
  }
  file_put_contents($path, $this->result);
  echo "save to {$path}\n";
 }
}
//使用示例
$yuedu = new BaiduYuedu('49422a3769eae009581becba', '8ed1dedb240b11bf0731336eff95093f', '你的百度域cookie');
$yuedu->start();
$yuedu->saveTo('result.txt');

这个类前两个参数可以从小说的介绍页面获得,第一个参数bookId就是urlebook后面跟着的字符串,第二个参数bookToken在页面源代码搜索bdjsonUrlm参数后面的那个字符串就是。

注:如果不传入百度cookie或者百度cookie无效,则只能抓取免费阅读部分,要抓完整的内容必须保证cookie可以正常使用。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用PHP能有一定的帮助,如果有疑问大家可以留言交流。

PHP 相关文章推荐
php 中include()与require()的对比
Oct 09 PHP
菜鸟学PHP之Smarty入门
Jan 04 PHP
php下foreach提示Warning:Invalid argument supplied for foreach()的解决方法
Nov 11 PHP
php中字符查找函数strpos、strrchr与strpbrk用法
Nov 18 PHP
ThinkPHP模版引擎之变量输出详解
Dec 05 PHP
php实现以只读方式打开文件的方法
Mar 16 PHP
php使用Jpgraph绘制复杂X-Y坐标图的方法
Jun 10 PHP
Codeigniter的dom类用法实例
Jun 26 PHP
PHP list() 将数组中的值赋给变量的简单实例
Jun 13 PHP
thinkphp框架page类与bootstrap分页(美化)
Jun 25 PHP
PHP+redis实现的悲观锁机制示例
Jun 12 PHP
php学习笔记之字符串常见操作总结
Jul 16 PHP
详解PHP数据压缩、加解密(pack, unpack)
Dec 17 #PHP
Yii2中datetime类的使用
Dec 17 #PHP
php生成二维码图片方法汇总
Dec 17 #PHP
PHP二维数组去重算法
Dec 17 #PHP
php格式化时间戳
Dec 17 #PHP
PHP生成唯一ID之SnowFlake算法
Dec 17 #PHP
简单解决微信文章图片防盗链问题
Dec 17 #PHP
You might like
用PHP编程开发“虚拟域名”系统
2006/10/09 PHP
PHP 简易输出CSV表格文件的方法详解
2013/06/20 PHP
thinkPHP3.2简单实现文件上传的方法
2016/05/16 PHP
几行代码轻松实现PHP文件打包下载zip
2017/03/01 PHP
Jquery作者John Resig自己封装的javascript 常用函数
2009/11/09 Javascript
单击按钮显示隐藏子菜单经典案例
2013/01/04 Javascript
javascipt匹配单行和多行注释的正则表达式
2013/11/20 Javascript
关于img的href和src取变量及赋值的方法
2014/04/28 Javascript
jqGrid读取选择的多行的某个属性代码
2014/05/18 Javascript
js事件监听器用法实例详解
2015/06/01 Javascript
JavaScript代码实现禁止右键、禁选择、禁粘贴、禁shift、禁ctrl、禁alt
2015/11/17 Javascript
原生JavaScript实现瀑布流布局
2020/06/28 Javascript
纯html+css+javascript实现楼层跳跃式的页面布局(实例代码)
2017/10/25 Javascript
在 React、Vue项目中使用SVG的方法
2018/02/09 Javascript
Angular resolve基础用法详解
2018/10/03 Javascript
如何通过vscode运行调试javascript代码
2020/07/24 Javascript
Python中类型关系和继承关系实例详解
2015/05/25 Python
Python使用自带的ConfigParser模块读写ini配置文件
2016/06/26 Python
python操作MySQL 模拟简单银行转账操作
2017/09/27 Python
Python将多份excel表格整理成一份表格
2018/01/03 Python
python基础学习之如何对元组各个元素进行命名详解
2018/07/12 Python
对python中词典的values值的修改或新增KEY详解
2019/01/20 Python
Python进程间通信Queue消息队列用法分析
2019/05/22 Python
python字符串Intern机制详解
2019/07/01 Python
Django更新models数据库结构步骤
2020/04/01 Python
OpenCV 之按位运算举例解析
2020/06/19 Python
python实现跨年表白神器--你值得拥有
2021/01/04 Python
Flask中jinja2的继承实现方法及实例
2021/03/03 Python
美国在线面料商店:Online Fabric Store
2018/07/26 全球购物
欧姆龙医疗保健与医疗产品:Omron Healthcare
2020/02/10 全球购物
回门宴答谢词
2014/01/13 职场文书
水果连锁超市创业计划书
2014/01/24 职场文书
党政领导班子四风问题对照检查材料思想汇报
2014/10/02 职场文书
法人身份证明书
2014/10/08 职场文书
教师党员群众路线教育实践活动心得体会
2014/11/04 职场文书
听证会主持词
2015/07/03 职场文书