使用Puppeteer爬取微信文章的实现


Posted in Python onFebruary 11, 2020

一朋友在群里问有没有什么办法能够一次性把这个链接 里的文章保存下来。点开可以看到,其实就是一个文章合集。所以需求就是,把这个文档中的链接里的文章挨个保存下来。保存形式可以有很多种,可以是图片,也可以是网页。这里因为使用 puppeteer 库的原因,故选择保存格式格式为PDF。

需求解构

完成整个动作,主要分为这两个部分。获取文档内所有文章的链接;把每个链接里的内容保存为PDF文件。

对于获取链接,有两条路,一是使用request模块请求该网址获取文档;二是把网页保存到本地使用fs模块获取文档内容。拿到文档也就是整个HTML文档后,一开始没想到什么好法子来拿到全部文章链接。如果直接在网页那就好办,直接DOM的 quertSelectorAll API配合CSS选择器就可以非常方便地拿到所有 a 链接中的 href 属性。但这里是Node,是DOM外之地。又想到的是直接使用正则匹配,后来还是放弃了这个做法。在google搜了下才发现竟然忘了 cheerio 这个好东西。 cheerio 是一个专门为服务端设计的快速灵活而简洁得jQuery实现。

对于保存网页内容,我所知道的常规操作是保存为PDF文件,恰巧之前刚知道的 puppeteer 满足这样的需求。 puppeteer 是一个由 chrome devtools 团队维护的提供了控制chrome浏览器高级API的一个Node库。除去爬取网页内容保存为PDF文件外,它还可以作为服务端渲染的一个方案以及实现自动化测试的一个方案。

需求实现

获取链接

先上这部分代码

const getHref = function () {
 let file = fs.readFileSync('./index.html').toString()
 const $ = cheerio.load(file)
 let hrefs = $('#sam').find('a')
 for (e in hrefs) {
  if (hrefs[e].attribs && hrefs[e].attribs['href']) {
   hrefArr.push({
    index: e,
    href: hrefs[e].attribs['href']
   })
  }
 }
 fs.writeFileSync('hrefJson.json', JSON.stringify(hrefArr))
}

因为后面的代码都依赖到读取的文件,所以这里用的是readFileSync方法。如果没有声明返回内容的格式,那默认是Buffer格式。可以选择填写 utf8 格式,或者直接在该方法后面使用 toString 方法。

两行代码用cheerio拿到所有所有链接的DOM元素后,挨个将其处理为方便后面要用到的格式。考虑到可能存在a标签没有href属性的情况,这里还对其进行了判断,不过这也是后面调试程序时才发现的bug。

如果需要将所有的链接另外保存起来,使用 writeFile 方法。

存为PDF

同样,先上这部分代码。

const saveToPdf = function () {
 async () => {
  const browser = await puppeteer.launch({
   executablePath: './chrome-win/chrome.exe',
  });

  // 链接计数
  let i = 0

  async function getPage() {
   const page = await browser.newPage();
   await page.goto(hrefArr[i]['href'], { waitUntil: 'domcontentloaded' });

   // 网页标题
   let pageTitle

   if (hrefArr[i]['href'].includes('weixin')) {
    pageTitle = await page.$eval('meta[property="og:title"]', el => el.content)
   } else {
    pageTitle = await page.$eval('title', el => el.innerHTML)
   }

   let title = pageTitle.trim()
   // 去掉斜杆
   let titlea = title.replace(/\s*/g, "")
   // 去掉竖线
   let titleb = titlea.replace(/\|/g, "");
   
   await page.pdf({ path: `${i}${titleb}.pdf` });

   i++

   if (i < hrefArr.length) {
    getPage()
   } else {
    await browser.close();
   }
  }
  getPage()
 }
}

因为需要等待chrome浏览器的打开,以及其他可能的异步请求。最外层使用了async 配合箭头函数将真正的执行代码包住。

在用 npm 安装 puppetter 时,因为默认会下载chrome浏览器,而服务器在国外,一般都无法下载成功。当然也有相应的解决方案,这里我就不展开了。如果安装 puppeteer ,可以参开 这篇文章 或者直接谷歌搜下。

在前一部分说到,我们需要把不止一个链接里的内容保存为PDF,所以使用了变量 i 来标识每一次需要访问的链接。

对于获取网页标题,当时确实费了点时间才处理好拿到已有链接的网页标题。所以链接中主要有两种网站的链接,一类是微信公众号文章,另一类是新浪财新这种网站。微信文章里头没有像新浪这样直接给出 title 内容。

使用Puppeteer爬取微信文章的实现 

使用Puppeteer爬取微信文章的实现

这个时候就要用到 page 类中的 $eval 方法, $eval 方法主要有两个参数,一是选择器,二是在浏览器上下文中执行的函数。$eval方法会页面中运行document.querySelector方法,并将其返回值传递给第二个参数,也就是我们写好的方法中。以获取新浪网页文章title为例, title 为传入选择器,我们需要的是其标签内容。

pageTitle = await page.$eval('title', el => el.innerHTML)

在产生文件名的过程中,由于文件夹还是文件路径的一部分。此时还需要考虑到windows文件路径规范。但网页中的标题并不受此规范限制,由此产生矛盾。这个问题也是后面调试的时候才发现,一开始写代码并没有想到这个问题。即需要去除标题中的斜杠竖杆还有空格等字符。

每获取完一个链接的内容后,就将链接位置标识 i + 1,知道所有链接内容保存完毕,关闭打开的网页。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python新手们容易犯的几个错误总结
Apr 01 Python
Python实现简单过滤文本段的方法
May 24 Python
Python实现查找匹配项作处理后再替换回去的方法
Jun 10 Python
PyQt5每天必学之工具提示功能
Apr 19 Python
Python文件循环写入行时防止覆盖的解决方法
Nov 09 Python
python使用KNN算法识别手写数字
Apr 25 Python
对Python强大的可变参数传递机制详解
Jun 13 Python
Python实现平行坐标图的两种方法小结
Jul 04 Python
Python如何爬取b站热门视频并导入Excel
Aug 10 Python
Django 权限管理(permissions)与用户组(group)详解
Nov 30 Python
python 实现Requests发送带cookies的请求
Feb 08 Python
pycharm Tab键设置成4个空格的操作
Feb 26 Python
Python实现遗传算法(二进制编码)求函数最优值方式
Feb 11 #Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
Feb 11 #Python
如何通过python实现全排列
Feb 11 #Python
Python3加密解密库Crypto的RSA加解密和签名/验签实现方法实例
Feb 11 #Python
python 遗传算法求函数极值的实现代码
Feb 11 #Python
在django中使用apscheduler 执行计划任务的实现方法
Feb 11 #Python
django在保存图像的同时压缩图像示例代码详解
Feb 11 #Python
You might like
php数据库连接
2006/10/09 PHP
用PHP来写记数器(详细介绍)
2006/10/09 PHP
php 将bmp图片转为jpg等其他任意格式的图片
2009/06/21 PHP
PHP简单处理表单输入的特殊字符的方法
2016/02/03 PHP
PHP实现二维数组按某列进行排序的方法
2016/11/18 PHP
PHP实现用户异地登录提醒功能的方法【基于thinkPHP框架】
2018/03/15 PHP
PHP实现图片防盗链破解操作示例【解决图片防盗链问题/反向代理】
2020/05/29 PHP
aspx中利用js实现确认删除代码
2010/07/22 Javascript
js实现一个省市区三级联动选择框代码分享
2013/03/06 Javascript
浅析jquery某一元素重复绑定的问题
2014/01/03 Javascript
原生JS实现旋转木马式图片轮播插件
2016/04/25 Javascript
简单实现js页面切换功能
2021/01/10 Javascript
jQuery easyui刷新当前tabs的方法
2016/09/23 Javascript
Bootstrap标签页(Tab)插件使用方法
2017/03/21 Javascript
老生常谈javascript的面向对象思想
2017/08/22 Javascript
nginx配置React静态页面的方法教程
2017/11/03 Javascript
angular动态表单制作
2018/02/23 Javascript
基于vue v-for 循环复选框-默认勾选第一个的实现方法
2018/03/03 Javascript
vue自定义一个v-model的实现代码
2018/06/21 Javascript
vue2和vue3的v-if与v-for优先级对比学习
2020/10/10 Javascript
[04:47]DOTA2-潍坊风行电子俱乐部探秘
2014/08/08 DOTA
Python获取Windows或Linux主机名称通用函数分享
2014/11/22 Python
Django自定义分页效果
2017/06/27 Python
ubuntu中配置pyqt4环境教程
2017/12/27 Python
解决pandas read_csv 读取中文列标题文件报错的问题
2018/06/15 Python
python实现远程控制电脑
2019/05/23 Python
django框架使用views.py的函数对表进行增删改查内容操作详解【models.py中表的创建、views.py中函数的使用,基于对象的跨表查询】
2019/12/12 Python
Python爬虫入门有哪些基础知识点
2020/06/02 Python
Python实现简单猜数字游戏
2021/02/03 Python
CSS3 3D制作实战案例分析
2016/09/18 HTML / CSS
DTD的含义以及作用
2014/01/26 面试题
汉语言文学职业规划
2014/02/14 职场文书
终止合同协议书
2014/04/17 职场文书
圣诞节活动策划方案
2014/06/09 职场文书
2014年国庆节演讲稿
2014/09/02 职场文书
班级光棍节联谊会策划书
2014/10/10 职场文书