使用Puppeteer爬取微信文章的实现


Posted in Python onFebruary 11, 2020

一朋友在群里问有没有什么办法能够一次性把这个链接 里的文章保存下来。点开可以看到,其实就是一个文章合集。所以需求就是,把这个文档中的链接里的文章挨个保存下来。保存形式可以有很多种,可以是图片,也可以是网页。这里因为使用 puppeteer 库的原因,故选择保存格式格式为PDF。

需求解构

完成整个动作,主要分为这两个部分。获取文档内所有文章的链接;把每个链接里的内容保存为PDF文件。

对于获取链接,有两条路,一是使用request模块请求该网址获取文档;二是把网页保存到本地使用fs模块获取文档内容。拿到文档也就是整个HTML文档后,一开始没想到什么好法子来拿到全部文章链接。如果直接在网页那就好办,直接DOM的 quertSelectorAll API配合CSS选择器就可以非常方便地拿到所有 a 链接中的 href 属性。但这里是Node,是DOM外之地。又想到的是直接使用正则匹配,后来还是放弃了这个做法。在google搜了下才发现竟然忘了 cheerio 这个好东西。 cheerio 是一个专门为服务端设计的快速灵活而简洁得jQuery实现。

对于保存网页内容,我所知道的常规操作是保存为PDF文件,恰巧之前刚知道的 puppeteer 满足这样的需求。 puppeteer 是一个由 chrome devtools 团队维护的提供了控制chrome浏览器高级API的一个Node库。除去爬取网页内容保存为PDF文件外,它还可以作为服务端渲染的一个方案以及实现自动化测试的一个方案。

需求实现

获取链接

先上这部分代码

const getHref = function () {
 let file = fs.readFileSync('./index.html').toString()
 const $ = cheerio.load(file)
 let hrefs = $('#sam').find('a')
 for (e in hrefs) {
  if (hrefs[e].attribs && hrefs[e].attribs['href']) {
   hrefArr.push({
    index: e,
    href: hrefs[e].attribs['href']
   })
  }
 }
 fs.writeFileSync('hrefJson.json', JSON.stringify(hrefArr))
}

因为后面的代码都依赖到读取的文件,所以这里用的是readFileSync方法。如果没有声明返回内容的格式,那默认是Buffer格式。可以选择填写 utf8 格式,或者直接在该方法后面使用 toString 方法。

两行代码用cheerio拿到所有所有链接的DOM元素后,挨个将其处理为方便后面要用到的格式。考虑到可能存在a标签没有href属性的情况,这里还对其进行了判断,不过这也是后面调试程序时才发现的bug。

如果需要将所有的链接另外保存起来,使用 writeFile 方法。

存为PDF

同样,先上这部分代码。

const saveToPdf = function () {
 async () => {
  const browser = await puppeteer.launch({
   executablePath: './chrome-win/chrome.exe',
  });

  // 链接计数
  let i = 0

  async function getPage() {
   const page = await browser.newPage();
   await page.goto(hrefArr[i]['href'], { waitUntil: 'domcontentloaded' });

   // 网页标题
   let pageTitle

   if (hrefArr[i]['href'].includes('weixin')) {
    pageTitle = await page.$eval('meta[property="og:title"]', el => el.content)
   } else {
    pageTitle = await page.$eval('title', el => el.innerHTML)
   }

   let title = pageTitle.trim()
   // 去掉斜杆
   let titlea = title.replace(/\s*/g, "")
   // 去掉竖线
   let titleb = titlea.replace(/\|/g, "");
   
   await page.pdf({ path: `${i}${titleb}.pdf` });

   i++

   if (i < hrefArr.length) {
    getPage()
   } else {
    await browser.close();
   }
  }
  getPage()
 }
}

因为需要等待chrome浏览器的打开,以及其他可能的异步请求。最外层使用了async 配合箭头函数将真正的执行代码包住。

在用 npm 安装 puppetter 时,因为默认会下载chrome浏览器,而服务器在国外,一般都无法下载成功。当然也有相应的解决方案,这里我就不展开了。如果安装 puppeteer ,可以参开 这篇文章 或者直接谷歌搜下。

在前一部分说到,我们需要把不止一个链接里的内容保存为PDF,所以使用了变量 i 来标识每一次需要访问的链接。

对于获取网页标题,当时确实费了点时间才处理好拿到已有链接的网页标题。所以链接中主要有两种网站的链接,一类是微信公众号文章,另一类是新浪财新这种网站。微信文章里头没有像新浪这样直接给出 title 内容。

使用Puppeteer爬取微信文章的实现 

使用Puppeteer爬取微信文章的实现

这个时候就要用到 page 类中的 $eval 方法, $eval 方法主要有两个参数,一是选择器,二是在浏览器上下文中执行的函数。$eval方法会页面中运行document.querySelector方法,并将其返回值传递给第二个参数,也就是我们写好的方法中。以获取新浪网页文章title为例, title 为传入选择器,我们需要的是其标签内容。

pageTitle = await page.$eval('title', el => el.innerHTML)

在产生文件名的过程中,由于文件夹还是文件路径的一部分。此时还需要考虑到windows文件路径规范。但网页中的标题并不受此规范限制,由此产生矛盾。这个问题也是后面调试的时候才发现,一开始写代码并没有想到这个问题。即需要去除标题中的斜杠竖杆还有空格等字符。

每获取完一个链接的内容后,就将链接位置标识 i + 1,知道所有链接内容保存完毕,关闭打开的网页。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
介绍Python中的文档测试模块
Apr 28 Python
python实现kMeans算法
Dec 21 Python
PyQt5打开文件对话框QFileDialog实例代码
Feb 07 Python
Python实现的各种常见分布算法示例
Dec 13 Python
解决python3 pika之连接断开的问题
Dec 18 Python
Python面向对象之私有属性和私有方法应用案例分析
Dec 31 Python
Python中os模块功能与用法详解
Feb 26 Python
python openCV实现摄像头获取人脸图片
Aug 20 Python
python中类与对象之间的关系详解
Dec 16 Python
Python 调用C++封装的进一步探索交流
Mar 04 Python
python - asyncio异步编程
Apr 06 Python
pandas中关于apply+lambda的应用
Feb 28 Python
Python实现遗传算法(二进制编码)求函数最优值方式
Feb 11 #Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
Feb 11 #Python
如何通过python实现全排列
Feb 11 #Python
Python3加密解密库Crypto的RSA加解密和签名/验签实现方法实例
Feb 11 #Python
python 遗传算法求函数极值的实现代码
Feb 11 #Python
在django中使用apscheduler 执行计划任务的实现方法
Feb 11 #Python
django在保存图像的同时压缩图像示例代码详解
Feb 11 #Python
You might like
PHP 执行系统外部命令 system() exec() passthru()
2009/08/11 PHP
php更改目录及子目录下所有的文件后缀扩展名的代码
2010/10/12 PHP
php调用mysql数据 dbclass类
2011/05/07 PHP
php的chr和ord函数实现字符加减乘除运算实现代码
2011/12/05 PHP
php中smarty变量修饰用法实例分析
2015/06/11 PHP
PhpStorm的使用教程(本地运行PHP+远程开发+快捷键)
2020/03/26 PHP
总结一些js自定义的函数
2006/08/05 Javascript
一个js实现的所谓的滑动门
2007/05/23 Javascript
javascript string字符串优化问题
2011/07/31 Javascript
Dom操作之兼容技巧分享
2011/09/20 Javascript
js中单引号与双引号冲突问题解决方法
2013/10/04 Javascript
javascript实现数独解法
2015/03/14 Javascript
JS图片压缩(pc端和移动端都适用)
2017/01/12 Javascript
微信小程序(三):网络请求
2017/01/13 Javascript
js仿淘宝商品放大预览功能
2017/03/15 Javascript
jQuery中animate()的使用方法及解决$(”body“).animate({“scrollTop”:top})不被Firefox支持的问题
2017/04/04 jQuery
jquery dataTable 后台加载数据并分页实例代码
2017/06/07 jQuery
vue中如何使用ztree
2018/02/06 Javascript
JS实现百度网盘任意文件强制下载功能
2018/08/31 Javascript
VSCode launch.json配置详细教程
2020/06/18 Javascript
纯js+css实现在线时钟
2020/08/18 Javascript
使用Python开发windows GUI程序入门实例
2014/10/23 Python
Python简单检测文本类型的2种方法【基于文件头及cchardet库】
2016/09/18 Python
python生成不重复随机数和对list乱序的解决方法
2018/04/09 Python
基于wxPython的GUI实现输入对话框(2)
2019/02/27 Python
python中property属性的介绍及其应用详解
2019/08/29 Python
Pytorch在NLP中的简单应用详解
2020/01/08 Python
Python 判断时间是否在时间区间内的实例
2020/05/16 Python
Merrell美国官网:美国登山运动鞋品牌
2018/02/07 全球购物
英国行业制服供应商:Alexandra
2019/09/14 全球购物
分公司经理岗位职责
2013/11/11 职场文书
党支部组织生活会整改方案
2014/09/30 职场文书
2014年机关党委工作总结
2014/12/11 职场文书
董事长秘书岗位职责
2015/02/13 职场文书
2015年高中语文教学总结
2015/08/18 职场文书
送给教师们,到底该如何写好教学反思?
2019/07/02 职场文书