python爬虫实现教程转换成 PDF 电子书


Posted in Python onFebruary 19, 2017

写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。

开始写爬虫前,我们先来分析一下该网站1的页面结构,网页的左侧是教程的目录大纲,每个 URL 对应到右边的一篇文章,右侧上方是文章的标题,中间是文章的正文部分,正文内容是我们关心的重点,我们要爬的数据就是所有网页的正文部分,下方是用户的评论区,评论区对我们没什么用,所以可以忽略它。

python爬虫实现教程转换成 PDF 电子书

工具准备

弄清楚了网站的基本结构后就可以开始准备爬虫所依赖的工具包了。requests、beautifulsoup 是爬虫两大神器,reuqests 用于网络请求,beautifusoup 用于操作 html 数据。有了这两把梭子,干起活来利索,scrapy 这样的爬虫框架我们就不用了,小程序派上它有点杀鸡用牛刀的意思。此外,既然是把 html 文件转为 pdf,那么也要有相应的库支持, wkhtmltopdf 就是一个非常好的工具,它可以用适用于多平台的 html 到 pdf 的转换,pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包,

接着安装 wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

安装 wkhtmltopdf

Windows平台直接在 wkhtmltopdf 官网2下载稳定版的进行安装,安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中,否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

爬虫实现

一切准备就绪后就可以上代码了,不过写代码之前还是先整理一下思绪。程序的目的是要把所有 URL 对应的 html 正文部分保存到本地,然后利用 pdfkit 把这些文件转换成一个 pdf 文件。我们把任务拆分一下,首先是把某一个 URL 对应的 html 正文保存到本地,然后找到所有的 URL 执行相同的操作。

用 Chrome 浏览器找到页面正文部分的标签,按 F12 找到正文对应的 div 标签: <div >,该 div 是网页的正文内容。用 requests 把整个页面加载到本地后,就可以使用 beautifulsoup 操作 HTML 的 dom 元素 来提取正文内容了。

python爬虫实现教程转换成 PDF 电子书
具体的实现代码如下:用 soup.find_all 函数找到正文标签,然后把正文部分的内容保存到 a.html 文件中。

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

第二步就是把页面左侧所有 URL 解析出来。采用同样的方式,找到 左侧菜单标签 <ul >

python爬虫实现教程转换成 PDF 电子书

具体代码实现逻辑:因为页面上有两个uk-nav uk-nav-side的 class 属性,而真正的目录列表是第二个。所有的 url 获取了,url 转 html 的函数在第一步也写好了。

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

最后一步就是把 html 转换成pdf文件了。转换成 pdf 文件非常简单,因为 pdfkit 把所有的逻辑都封装好了,你只需要调用函数 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

执行 save_pdf 函数,电子书 pdf 文件就生成了,效果图:

python爬虫实现教程转换成 PDF 电子书

总结

总共代码量加起来不到50行,不过,且慢,其实上面给出的代码省略了一些细节,比如,如何获取文章的标题,正文内容的 img 标签使用的是相对路径,如果要想在 pdf 中正常显示图片就需要将相对路径改为绝对路径,还有保存下来的 html 临时文件都要删除,这些细节末叶都放在github上。

完整代码可以上github下载 ,代码在 Windows 平台亲测有效,欢迎 fork 下载自己改进。github 地址3,GitHub访问不了的同学可以用码云4, 《廖雪峰的 Python 教程》电子书 PDF 文件可以通过关注本公众号『一个程序员的微站』回复 “pdf” 免费下载阅读。

Python 相关文章推荐
python使用scrapy解析js示例
Jan 23 Python
在python中的socket模块使用代理实例
May 29 Python
使用Python脚本在Linux下实现部分Bash Shell的教程
Apr 17 Python
python3解析库lxml的安装与基本使用
Jun 27 Python
python日志logging模块使用方法分析
May 23 Python
python爬虫-模拟微博登录功能
Sep 12 Python
Window10下python3.7 安装与卸载教程图解
Sep 30 Python
对Tensorflow中Device实例的生成和管理详解
Feb 04 Python
pycharm通过anaconda安装pyqt5的教程
Mar 24 Python
python里的单引号和双引号的有什么作用
Jun 17 Python
Python3实现英文字母转换哥特式字体实例代码
Sep 01 Python
Jupyter Notebook 安装配置与使用详解
Jan 06 Python
Python 模块EasyGui详细介绍
Feb 19 #Python
Python中字符串格式化str.format的详细介绍
Feb 17 #Python
Python爬虫:通过关键字爬取百度图片
Feb 17 #Python
Python 遍历列表里面序号和值的方法(三种)
Feb 17 #Python
浅谈python中的实例方法、类方法和静态方法
Feb 17 #Python
Python之日期与时间处理模块(date和datetime)
Feb 16 #Python
python字符串中的单双引
Feb 16 #Python
You might like
PHP中上传大体积文件时需要的设置
2006/10/09 PHP
PHP中如何调用webservice的实例参考
2013/04/25 PHP
记录mysql性能查询过程的使用方法
2013/05/02 PHP
解析php做推送服务端实现ios消息推送
2013/07/01 PHP
PHP中使用substr()截取字符串出现中文乱码问题该怎么办
2015/10/21 PHP
CodeIgniter 完美解决URL含有中文字符串
2016/05/13 PHP
PHP利用二叉堆实现TopK-算法的方法详解
2017/04/24 PHP
通过PHP设置BugFree获取邮箱通知
2019/04/25 PHP
TP5框架实现签到功能的方法分析
2020/04/05 PHP
Jquery 插件学习实例1 插件制作说明与tableUI优化
2010/04/02 Javascript
基于jQuery的倒计时实现代码
2012/05/30 Javascript
基于nodejs+express(4.x+)实现文件上传功能
2015/11/23 NodeJs
javascript禁止超链接跳转的方法
2016/02/02 Javascript
node.js Sequelize实现单实例字段或批量自增、自减
2016/12/08 Javascript
解决JS外部文件中文注释出现乱码问题
2017/07/09 Javascript
JS实现简单的选择题测评系统代码思路详解(demo)
2017/09/03 Javascript
vue 组件中slot插口的具体用法
2018/04/03 Javascript
详解vue-router数据加载与缓存使用总结
2018/10/29 Javascript
NodeJS 文件夹拷贝以及删除功能
2019/09/03 NodeJs
vue路由拦截器和请求拦截器知识点总结
2019/11/08 Javascript
简单的通用表达式求10乘阶示例
2014/03/03 Python
使用70行Python代码实现一个递归下降解析器的教程
2015/04/17 Python
在Python程序中操作文件之isatty()方法的使用教程
2015/05/24 Python
python 时间戳与格式化时间的转化实现代码
2016/03/23 Python
python下setuptools的安装详解及No module named setuptools的解决方法
2017/07/06 Python
Python分治法定义与应用实例详解
2017/07/28 Python
python numpy函数中的linspace创建等差数列详解
2017/10/13 Python
python3实现windows下同名进程监控
2018/06/21 Python
在python中使用with打开多个文件的方法
2019/01/07 Python
python django框架中使用FastDFS分布式文件系统的安装方法
2019/06/10 Python
Pytorch 实现计算分类器准确率(总分类及子分类)
2020/01/18 Python
详解Python设计模式之策略模式
2020/06/15 Python
html5配合css3实现带提示文字的输入框(摆脱js)
2013/03/08 HTML / CSS
期末总结的个人自我评价
2013/11/02 职场文书
python开发实时可视化仪表盘的示例
2021/05/07 Python
Logback 使用TurboFilter实现日志级别等内容的动态修改操作
2021/08/30 Java/Android