python爬虫实现教程转换成 PDF 电子书


Posted in Python onFebruary 19, 2017

写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。

开始写爬虫前,我们先来分析一下该网站1的页面结构,网页的左侧是教程的目录大纲,每个 URL 对应到右边的一篇文章,右侧上方是文章的标题,中间是文章的正文部分,正文内容是我们关心的重点,我们要爬的数据就是所有网页的正文部分,下方是用户的评论区,评论区对我们没什么用,所以可以忽略它。

python爬虫实现教程转换成 PDF 电子书

工具准备

弄清楚了网站的基本结构后就可以开始准备爬虫所依赖的工具包了。requests、beautifulsoup 是爬虫两大神器,reuqests 用于网络请求,beautifusoup 用于操作 html 数据。有了这两把梭子,干起活来利索,scrapy 这样的爬虫框架我们就不用了,小程序派上它有点杀鸡用牛刀的意思。此外,既然是把 html 文件转为 pdf,那么也要有相应的库支持, wkhtmltopdf 就是一个非常好的工具,它可以用适用于多平台的 html 到 pdf 的转换,pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包,

接着安装 wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

安装 wkhtmltopdf

Windows平台直接在 wkhtmltopdf 官网2下载稳定版的进行安装,安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中,否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

爬虫实现

一切准备就绪后就可以上代码了,不过写代码之前还是先整理一下思绪。程序的目的是要把所有 URL 对应的 html 正文部分保存到本地,然后利用 pdfkit 把这些文件转换成一个 pdf 文件。我们把任务拆分一下,首先是把某一个 URL 对应的 html 正文保存到本地,然后找到所有的 URL 执行相同的操作。

用 Chrome 浏览器找到页面正文部分的标签,按 F12 找到正文对应的 div 标签: <div >,该 div 是网页的正文内容。用 requests 把整个页面加载到本地后,就可以使用 beautifulsoup 操作 HTML 的 dom 元素 来提取正文内容了。

python爬虫实现教程转换成 PDF 电子书
具体的实现代码如下:用 soup.find_all 函数找到正文标签,然后把正文部分的内容保存到 a.html 文件中。

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

第二步就是把页面左侧所有 URL 解析出来。采用同样的方式,找到 左侧菜单标签 <ul >

python爬虫实现教程转换成 PDF 电子书

具体代码实现逻辑:因为页面上有两个uk-nav uk-nav-side的 class 属性,而真正的目录列表是第二个。所有的 url 获取了,url 转 html 的函数在第一步也写好了。

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

最后一步就是把 html 转换成pdf文件了。转换成 pdf 文件非常简单,因为 pdfkit 把所有的逻辑都封装好了,你只需要调用函数 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

执行 save_pdf 函数,电子书 pdf 文件就生成了,效果图:

python爬虫实现教程转换成 PDF 电子书

总结

总共代码量加起来不到50行,不过,且慢,其实上面给出的代码省略了一些细节,比如,如何获取文章的标题,正文内容的 img 标签使用的是相对路径,如果要想在 pdf 中正常显示图片就需要将相对路径改为绝对路径,还有保存下来的 html 临时文件都要删除,这些细节末叶都放在github上。

完整代码可以上github下载 ,代码在 Windows 平台亲测有效,欢迎 fork 下载自己改进。github 地址3,GitHub访问不了的同学可以用码云4, 《廖雪峰的 Python 教程》电子书 PDF 文件可以通过关注本公众号『一个程序员的微站』回复 “pdf” 免费下载阅读。

Python 相关文章推荐
python赋值操作方法分享
Mar 23 Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 Python
Django中针对基于类的视图添加csrf_exempt实例代码
Feb 11 Python
Python3.7 dataclass使用指南小结
Feb 22 Python
我喜欢你 抖音表白程序python版
Apr 07 Python
python flask 如何修改默认端口号的方法步骤
Jul 12 Python
flask应用部署到服务器的方法
Jul 12 Python
Python3.7安装keras和TensorFlow的教程图解
Jun 18 Python
详解mac python+selenium+Chrome 简单案例
Nov 08 Python
Python 实现一行输入多个数字(用空格隔开)
Apr 29 Python
Python使用pyexecjs代码案例解析
Jul 13 Python
Elasticsearch 数据类型及管理
Apr 19 Python
Python 模块EasyGui详细介绍
Feb 19 #Python
Python中字符串格式化str.format的详细介绍
Feb 17 #Python
Python爬虫:通过关键字爬取百度图片
Feb 17 #Python
Python 遍历列表里面序号和值的方法(三种)
Feb 17 #Python
浅谈python中的实例方法、类方法和静态方法
Feb 17 #Python
Python之日期与时间处理模块(date和datetime)
Feb 16 #Python
python字符串中的单双引
Feb 16 #Python
You might like
ThinkPHP验证码和分页实例教程
2014/08/22 PHP
详谈PHP中public,private,protected,abstract等关键字的用法
2017/12/31 PHP
PHP如何使用array_unshift()在数组开头插入元素
2020/09/01 PHP
javascript cookie解码函数(兼容ff)
2008/03/17 Javascript
Javascript this关键字使用分析
2008/10/21 Javascript
在JQuery dialog里的服务器控件 事件失效问题
2010/12/08 Javascript
11款新鲜的jQuery插件[附所有demo下载]
2011/01/24 Javascript
Jquery zTree 树控件异步加载操作
2016/02/25 Javascript
Javascript的表单验证-揭开正则表达式的面纱
2016/03/18 Javascript
jQuery实现自动输入email、时间和域名的方法
2016/08/24 Javascript
JS实现搜索框文字可删除功能
2016/12/28 Javascript
jQuery实现动态删除LI的方法
2017/05/30 jQuery
javascript高级模块化require.js的具体使用方法
2017/10/31 Javascript
分析JavaScript数组操作难点
2017/12/18 Javascript
JS中数组与对象的遍历方法实例小结
2018/08/14 Javascript
layui中table表头样式修改方法
2018/08/15 Javascript
vue 的 solt 子组件过滤过程解析
2019/09/07 Javascript
js获取图片的base64编码并压缩
2020/12/05 Javascript
[02:31]《DAC最前线》之选手酒店现场花絮
2015/01/30 DOTA
[47:35]VP vs Pain 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/20 DOTA
python 循环while和for in简单实例
2016/08/16 Python
Python的装饰器使用详解
2017/06/26 Python
Python实现按学生年龄排序的实际问题详解
2017/08/29 Python
python如何去除字符串中不想要的字符
2020/07/05 Python
Python numpy中矩阵的基本用法汇总
2019/02/12 Python
keras 获取某层的输入/输出 tensor 尺寸操作
2020/06/10 Python
C#如何允许一个类被继承但是避免这个类的方法被重载?
2015/02/24 面试题
英语专业学子个人的自我评价
2013/10/02 职场文书
会计实习生工作总结的自我评价
2013/10/07 职场文书
环保项目建议书
2014/08/26 职场文书
二十年同学聚会致辞
2015/07/28 职场文书
2016党员党课心得体会
2016/01/07 职场文书
golang json数组拼接的实例
2021/04/28 Golang
阿里云服务器搭建Php+Apache运行环境的详细过程
2021/05/15 PHP
SpringBoot中获取profile的方法详解
2022/04/08 Java/Android
讲解Python实例练习逆序输出字符串
2022/05/06 Python