python爬虫实现教程转换成 PDF 电子书


Posted in Python onFebruary 19, 2017

写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。

开始写爬虫前,我们先来分析一下该网站1的页面结构,网页的左侧是教程的目录大纲,每个 URL 对应到右边的一篇文章,右侧上方是文章的标题,中间是文章的正文部分,正文内容是我们关心的重点,我们要爬的数据就是所有网页的正文部分,下方是用户的评论区,评论区对我们没什么用,所以可以忽略它。

python爬虫实现教程转换成 PDF 电子书

工具准备

弄清楚了网站的基本结构后就可以开始准备爬虫所依赖的工具包了。requests、beautifulsoup 是爬虫两大神器,reuqests 用于网络请求,beautifusoup 用于操作 html 数据。有了这两把梭子,干起活来利索,scrapy 这样的爬虫框架我们就不用了,小程序派上它有点杀鸡用牛刀的意思。此外,既然是把 html 文件转为 pdf,那么也要有相应的库支持, wkhtmltopdf 就是一个非常好的工具,它可以用适用于多平台的 html 到 pdf 的转换,pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包,

接着安装 wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

安装 wkhtmltopdf

Windows平台直接在 wkhtmltopdf 官网2下载稳定版的进行安装,安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中,否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

爬虫实现

一切准备就绪后就可以上代码了,不过写代码之前还是先整理一下思绪。程序的目的是要把所有 URL 对应的 html 正文部分保存到本地,然后利用 pdfkit 把这些文件转换成一个 pdf 文件。我们把任务拆分一下,首先是把某一个 URL 对应的 html 正文保存到本地,然后找到所有的 URL 执行相同的操作。

用 Chrome 浏览器找到页面正文部分的标签,按 F12 找到正文对应的 div 标签: <div >,该 div 是网页的正文内容。用 requests 把整个页面加载到本地后,就可以使用 beautifulsoup 操作 HTML 的 dom 元素 来提取正文内容了。

python爬虫实现教程转换成 PDF 电子书
具体的实现代码如下:用 soup.find_all 函数找到正文标签,然后把正文部分的内容保存到 a.html 文件中。

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

第二步就是把页面左侧所有 URL 解析出来。采用同样的方式,找到 左侧菜单标签 <ul >

python爬虫实现教程转换成 PDF 电子书

具体代码实现逻辑:因为页面上有两个uk-nav uk-nav-side的 class 属性,而真正的目录列表是第二个。所有的 url 获取了,url 转 html 的函数在第一步也写好了。

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

最后一步就是把 html 转换成pdf文件了。转换成 pdf 文件非常简单,因为 pdfkit 把所有的逻辑都封装好了,你只需要调用函数 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

执行 save_pdf 函数,电子书 pdf 文件就生成了,效果图:

python爬虫实现教程转换成 PDF 电子书

总结

总共代码量加起来不到50行,不过,且慢,其实上面给出的代码省略了一些细节,比如,如何获取文章的标题,正文内容的 img 标签使用的是相对路径,如果要想在 pdf 中正常显示图片就需要将相对路径改为绝对路径,还有保存下来的 html 临时文件都要删除,这些细节末叶都放在github上。

完整代码可以上github下载 ,代码在 Windows 平台亲测有效,欢迎 fork 下载自己改进。github 地址3,GitHub访问不了的同学可以用码云4, 《廖雪峰的 Python 教程》电子书 PDF 文件可以通过关注本公众号『一个程序员的微站』回复 “pdf” 免费下载阅读。

Python 相关文章推荐
Python实现将不规范的英文名字首字母大写
Nov 15 Python
python 迭代器和iter()函数详解及实例
Mar 21 Python
python实现杨辉三角思路
Jul 14 Python
Python3 单行多行万能正则匹配方法
Jan 07 Python
Python简单过滤字母和数字的方法小结
Jan 09 Python
Python字典循环添加一键多值的用法实例
Jan 20 Python
python flask框架实现重定向功能示例
Jul 02 Python
Python编写通讯录通过数据库存储实现模糊查询功能
Jul 18 Python
django 通过url实现简单的权限控制的例子
Aug 16 Python
python 使用while循环输出*组成的菱形实例
Apr 12 Python
Python 利用flask搭建一个共享服务器的步骤
Dec 05 Python
Requests什么的通通爬不了的Python超强反爬虫方案!
May 20 Python
Python 模块EasyGui详细介绍
Feb 19 #Python
Python中字符串格式化str.format的详细介绍
Feb 17 #Python
Python爬虫:通过关键字爬取百度图片
Feb 17 #Python
Python 遍历列表里面序号和值的方法(三种)
Feb 17 #Python
浅谈python中的实例方法、类方法和静态方法
Feb 17 #Python
Python之日期与时间处理模块(date和datetime)
Feb 16 #Python
python字符串中的单双引
Feb 16 #Python
You might like
开发大型 PHP 项目的方法
2007/01/02 PHP
fleaphp下不确定的多条件查询的巧妙解决方法
2008/09/11 PHP
linux系统上支持php的 iconv()函数的方法
2011/10/01 PHP
PHP中遇到BOM、编码导致json_decode函数无法解析问题
2014/07/02 PHP
Yii2隐藏frontend/web和backend/web的方法
2015/12/12 PHP
你所要知道JS(DHTML)中的一些技巧
2007/01/09 Javascript
关于Javascript模块化和命名空间管理的问题说明
2010/12/06 Javascript
基于jquery实现的移入页面上空文本框时,让它变为焦点,移出清除焦点
2011/07/26 Javascript
关于jquery ajax 调用带参数的webservice返回XML数据一个小细节
2012/07/31 Javascript
Jquery图形报表插件 jqplot简介及参数详解
2012/10/10 Javascript
通过js简单实现将一个文本内容转译成加密文本
2013/10/22 Javascript
纯js实现手风琴效果
2020/04/17 Javascript
详解关于JSON.parse()和JSON.stringify()的性能小测试
2019/03/14 Javascript
mpvue实现小程序签到金币掉落动画(api实现)
2019/10/17 Javascript
vue实现设置载入动画和初始化页面动画效果
2019/10/28 Javascript
基于vue和bootstrap实现简单留言板功能
2020/05/30 Javascript
[49:30]DOTA2-DPC中国联赛正赛 Dragon vs Dynasty BO3 第二场 3月4日
2021/03/11 DOTA
Django objects.all()、objects.get()与objects.filter()之间的区别介绍
2017/06/12 Python
python3获取两个日期之间所有日期,以及比较大小的实例
2018/04/08 Python
Python实现简单的用户交互方法详解
2018/09/25 Python
jupyter lab文件导出/下载方式
2020/04/22 Python
Pytorch转tflite方式
2020/05/25 Python
pytorch 常用函数 max ,eq说明
2020/06/28 Python
python re.match()用法相关示例
2021/01/27 Python
HTML5的video标签的浏览器兼容性增强方案分享
2016/05/19 HTML / CSS
英语专业毕业生自荐信
2013/10/28 职场文书
连锁酒店店长职责范本
2014/02/13 职场文书
《浅水洼里的小鱼》听课反思
2014/02/28 职场文书
母校寄语大全
2014/04/10 职场文书
年检委托书
2014/08/30 职场文书
农村党支部书记党群众路线四风问题整改措施
2014/09/26 职场文书
对党的十八届四中全会的期盼
2014/10/17 职场文书
公司前台接待岗位职责
2015/04/03 职场文书
肖申克救赎观后感
2015/06/02 职场文书
优秀创业计划书分享
2019/07/19 职场文书
Ajax 的初步实现(使用vscode+node.js+express框架)
2021/06/18 Javascript