使用Puppeteer爬取微信文章的实现


Posted in Python onFebruary 11, 2020

一朋友在群里问有没有什么办法能够一次性把这个链接 里的文章保存下来。点开可以看到,其实就是一个文章合集。所以需求就是,把这个文档中的链接里的文章挨个保存下来。保存形式可以有很多种,可以是图片,也可以是网页。这里因为使用 puppeteer 库的原因,故选择保存格式格式为PDF。

需求解构

完成整个动作,主要分为这两个部分。获取文档内所有文章的链接;把每个链接里的内容保存为PDF文件。

对于获取链接,有两条路,一是使用request模块请求该网址获取文档;二是把网页保存到本地使用fs模块获取文档内容。拿到文档也就是整个HTML文档后,一开始没想到什么好法子来拿到全部文章链接。如果直接在网页那就好办,直接DOM的 quertSelectorAll API配合CSS选择器就可以非常方便地拿到所有 a 链接中的 href 属性。但这里是Node,是DOM外之地。又想到的是直接使用正则匹配,后来还是放弃了这个做法。在google搜了下才发现竟然忘了 cheerio 这个好东西。 cheerio 是一个专门为服务端设计的快速灵活而简洁得jQuery实现。

对于保存网页内容,我所知道的常规操作是保存为PDF文件,恰巧之前刚知道的 puppeteer 满足这样的需求。 puppeteer 是一个由 chrome devtools 团队维护的提供了控制chrome浏览器高级API的一个Node库。除去爬取网页内容保存为PDF文件外,它还可以作为服务端渲染的一个方案以及实现自动化测试的一个方案。

需求实现

获取链接

先上这部分代码

const getHref = function () {
 let file = fs.readFileSync('./index.html').toString()
 const $ = cheerio.load(file)
 let hrefs = $('#sam').find('a')
 for (e in hrefs) {
  if (hrefs[e].attribs && hrefs[e].attribs['href']) {
   hrefArr.push({
    index: e,
    href: hrefs[e].attribs['href']
   })
  }
 }
 fs.writeFileSync('hrefJson.json', JSON.stringify(hrefArr))
}

因为后面的代码都依赖到读取的文件,所以这里用的是readFileSync方法。如果没有声明返回内容的格式,那默认是Buffer格式。可以选择填写 utf8 格式,或者直接在该方法后面使用 toString 方法。

两行代码用cheerio拿到所有所有链接的DOM元素后,挨个将其处理为方便后面要用到的格式。考虑到可能存在a标签没有href属性的情况,这里还对其进行了判断,不过这也是后面调试程序时才发现的bug。

如果需要将所有的链接另外保存起来,使用 writeFile 方法。

存为PDF

同样,先上这部分代码。

const saveToPdf = function () {
 async () => {
  const browser = await puppeteer.launch({
   executablePath: './chrome-win/chrome.exe',
  });

  // 链接计数
  let i = 0

  async function getPage() {
   const page = await browser.newPage();
   await page.goto(hrefArr[i]['href'], { waitUntil: 'domcontentloaded' });

   // 网页标题
   let pageTitle

   if (hrefArr[i]['href'].includes('weixin')) {
    pageTitle = await page.$eval('meta[property="og:title"]', el => el.content)
   } else {
    pageTitle = await page.$eval('title', el => el.innerHTML)
   }

   let title = pageTitle.trim()
   // 去掉斜杆
   let titlea = title.replace(/\s*/g, "")
   // 去掉竖线
   let titleb = titlea.replace(/\|/g, "");
   
   await page.pdf({ path: `${i}${titleb}.pdf` });

   i++

   if (i < hrefArr.length) {
    getPage()
   } else {
    await browser.close();
   }
  }
  getPage()
 }
}

因为需要等待chrome浏览器的打开,以及其他可能的异步请求。最外层使用了async 配合箭头函数将真正的执行代码包住。

在用 npm 安装 puppetter 时,因为默认会下载chrome浏览器,而服务器在国外,一般都无法下载成功。当然也有相应的解决方案,这里我就不展开了。如果安装 puppeteer ,可以参开 这篇文章 或者直接谷歌搜下。

在前一部分说到,我们需要把不止一个链接里的内容保存为PDF,所以使用了变量 i 来标识每一次需要访问的链接。

对于获取网页标题,当时确实费了点时间才处理好拿到已有链接的网页标题。所以链接中主要有两种网站的链接,一类是微信公众号文章,另一类是新浪财新这种网站。微信文章里头没有像新浪这样直接给出 title 内容。

使用Puppeteer爬取微信文章的实现 

使用Puppeteer爬取微信文章的实现

这个时候就要用到 page 类中的 $eval 方法, $eval 方法主要有两个参数,一是选择器,二是在浏览器上下文中执行的函数。$eval方法会页面中运行document.querySelector方法,并将其返回值传递给第二个参数,也就是我们写好的方法中。以获取新浪网页文章title为例, title 为传入选择器,我们需要的是其标签内容。

pageTitle = await page.$eval('title', el => el.innerHTML)

在产生文件名的过程中,由于文件夹还是文件路径的一部分。此时还需要考虑到windows文件路径规范。但网页中的标题并不受此规范限制,由此产生矛盾。这个问题也是后面调试的时候才发现,一开始写代码并没有想到这个问题。即需要去除标题中的斜杠竖杆还有空格等字符。

每获取完一个链接的内容后,就将链接位置标识 i + 1,知道所有链接内容保存完毕,关闭打开的网页。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
linux系统使用python获取内存使用信息脚本分享
Jan 15 Python
python中列表元素连接方法join用法实例
Apr 07 Python
修改Python的pyxmpp2中的主循环使其提高性能
Apr 24 Python
Python基于列表模拟堆栈和队列功能示例
Jan 05 Python
浅谈配置OpenCV3 + Python3的简易方法(macOS)
Apr 02 Python
对命令行模式与python交互模式介绍
May 12 Python
python flask 如何修改默认端口号的方法步骤
Jul 12 Python
详解解决Python memory error的问题(四种解决方案)
Aug 08 Python
jupyter notebook 的工作空间设置操作
Apr 20 Python
Django admin组件的使用
Oct 24 Python
tensorflow学习笔记之tfrecord文件的生成与读取
Mar 31 Python
Python IO文件管理的具体使用
Mar 20 Python
Python实现遗传算法(二进制编码)求函数最优值方式
Feb 11 #Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
Feb 11 #Python
如何通过python实现全排列
Feb 11 #Python
Python3加密解密库Crypto的RSA加解密和签名/验签实现方法实例
Feb 11 #Python
python 遗传算法求函数极值的实现代码
Feb 11 #Python
在django中使用apscheduler 执行计划任务的实现方法
Feb 11 #Python
django在保存图像的同时压缩图像示例代码详解
Feb 11 #Python
You might like
PHP 获取文件权限函数介绍
2013/07/11 PHP
php之readdir函数用法实例
2014/11/13 PHP
10款实用的PHP开源工具
2015/10/23 PHP
php把字符串指定字符分割成数组的方法
2018/03/12 PHP
jQuery阻止冒泡和HTML默认操作
2010/11/17 Javascript
在IE浏览器中resize事件执行多次的解决方法
2011/07/12 Javascript
JQuery的$命名冲突详细解析
2013/12/28 Javascript
jquery如何扑捉回车键触发的事件
2014/04/24 Javascript
JS动态加载当前时间的方法
2015/02/09 Javascript
微信小程序 wx:for的使用实例详解
2017/04/27 Javascript
javascript用rem来做响应式开发
2018/01/13 Javascript
几个你不知道的技巧助你写出更优雅的vue.js代码
2018/06/11 Javascript
解决layui checkbox 提交多个值的问题
2019/09/02 Javascript
Vue 使用beforeEach实现登录状态检查功能
2019/10/31 Javascript
微信jssdk踩坑之签名错误invalid signature
2020/05/19 Javascript
微信小程序拖拽排序列表的示例代码
2020/07/08 Javascript
JavaScript实现动态生成表格
2020/08/02 Javascript
[40:56]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 Liquid vs TNC
2018/04/01 DOTA
[53:50]CHAOS vs Mineski 2019国际邀请赛小组赛 BO2 第一场 8.16
2019/08/18 DOTA
pyramid配置session的方法教程
2013/11/27 Python
用python做一个搜索引擎(Pylucene)的实例代码
2017/07/05 Python
Python遍历numpy数组的实例
2018/04/04 Python
python实现飞机大战微信小游戏
2020/03/21 Python
用vue.js组件模拟v-model指令实例方法
2019/07/05 Python
pytorch自定义二值化网络层方式
2020/01/07 Python
浅谈Python中的生成器和迭代器
2020/06/19 Python
关于django python manage.py startapp 应用名出错异常原因解析
2020/12/15 Python
html5手机键盘弹出收起的处理
2020/01/20 HTML / CSS
海信商城:海信电视、科龙空调、容声冰箱官方专卖
2017/02/07 全球购物
美国伴娘礼服商店:Evening Collective
2019/10/07 全球购物
社团活动总结格式
2014/08/29 职场文书
复兴之路观后感
2015/06/02 职场文书
《自己的花是让别人看的》教学反思
2016/02/19 职场文书
求职信:会计求职的写作技巧
2019/04/24 职场文书
Angular CLI发布路径的配置项浅析
2021/03/29 Javascript
详解Nginx 被动检查服务器的存活状态
2021/10/16 Servers