python爬虫实现教程转换成 PDF 电子书


Posted in Python onFebruary 19, 2017

写爬虫似乎没有比用 Python 更合适了,Python 社区提供的爬虫工具多得让你眼花缭乱,各种拿来就可以直接用的 library 分分钟就可以写出一个爬虫出来,今天就琢磨着写一个爬虫,将廖雪峰的 Python 教程 爬下来做成 PDF 电子书方便大家离线阅读。

开始写爬虫前,我们先来分析一下该网站1的页面结构,网页的左侧是教程的目录大纲,每个 URL 对应到右边的一篇文章,右侧上方是文章的标题,中间是文章的正文部分,正文内容是我们关心的重点,我们要爬的数据就是所有网页的正文部分,下方是用户的评论区,评论区对我们没什么用,所以可以忽略它。

python爬虫实现教程转换成 PDF 电子书

工具准备

弄清楚了网站的基本结构后就可以开始准备爬虫所依赖的工具包了。requests、beautifulsoup 是爬虫两大神器,reuqests 用于网络请求,beautifusoup 用于操作 html 数据。有了这两把梭子,干起活来利索,scrapy 这样的爬虫框架我们就不用了,小程序派上它有点杀鸡用牛刀的意思。此外,既然是把 html 文件转为 pdf,那么也要有相应的库支持, wkhtmltopdf 就是一个非常好的工具,它可以用适用于多平台的 html 到 pdf 的转换,pdfkit 是 wkhtmltopdf 的Python封装包。首先安装好下面的依赖包,

接着安装 wkhtmltopdf

pip install requests
pip install beautifulsoup
pip install pdfkit

安装 wkhtmltopdf

Windows平台直接在 wkhtmltopdf 官网2下载稳定版的进行安装,安装完成之后把该程序的执行路径加入到系统环境 $PATH 变量中,否则 pdfkit 找不到 wkhtmltopdf 就出现错误 “No wkhtmltopdf executable found”。Ubuntu 和 CentOS 可以直接用命令行进行安装

$ sudo apt-get install wkhtmltopdf # ubuntu
$ sudo yum intsall wkhtmltopdf   # centos

爬虫实现

一切准备就绪后就可以上代码了,不过写代码之前还是先整理一下思绪。程序的目的是要把所有 URL 对应的 html 正文部分保存到本地,然后利用 pdfkit 把这些文件转换成一个 pdf 文件。我们把任务拆分一下,首先是把某一个 URL 对应的 html 正文保存到本地,然后找到所有的 URL 执行相同的操作。

用 Chrome 浏览器找到页面正文部分的标签,按 F12 找到正文对应的 div 标签: <div >,该 div 是网页的正文内容。用 requests 把整个页面加载到本地后,就可以使用 beautifulsoup 操作 HTML 的 dom 元素 来提取正文内容了。

python爬虫实现教程转换成 PDF 电子书
具体的实现代码如下:用 soup.find_all 函数找到正文标签,然后把正文部分的内容保存到 a.html 文件中。

def parse_url_to_html(url):
  response = requests.get(url)
  soup = BeautifulSoup(response.content, "html5lib")
  body = soup.find_all(class_="x-wiki-content")[0]
  html = str(body)
  with open("a.html", 'wb') as f:
    f.write(html)

第二步就是把页面左侧所有 URL 解析出来。采用同样的方式,找到 左侧菜单标签 <ul >

python爬虫实现教程转换成 PDF 电子书

具体代码实现逻辑:因为页面上有两个uk-nav uk-nav-side的 class 属性,而真正的目录列表是第二个。所有的 url 获取了,url 转 html 的函数在第一步也写好了。

def get_url_list():
  """
  获取所有URL目录列表
  """
  response = requests.get("http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000")
  soup = BeautifulSoup(response.content, "html5lib")
  menu_tag = soup.find_all(class_="uk-nav uk-nav-side")[1]
  urls = []
  for li in menu_tag.find_all("li"):
    url = "http://www.liaoxuefeng.com" + li.a.get('href')
    urls.append(url)
  return urls

最后一步就是把 html 转换成pdf文件了。转换成 pdf 文件非常简单,因为 pdfkit 把所有的逻辑都封装好了,你只需要调用函数 pdfkit.from_file

def save_pdf(htmls):
  """
  把所有html文件转换成pdf文件
  """
  options = {
    'page-size': 'Letter',
    'encoding': "UTF-8",
    'custom-header': [
      ('Accept-Encoding', 'gzip')
    ]
  }
  pdfkit.from_file(htmls, file_name, options=options)

执行 save_pdf 函数,电子书 pdf 文件就生成了,效果图:

python爬虫实现教程转换成 PDF 电子书

总结

总共代码量加起来不到50行,不过,且慢,其实上面给出的代码省略了一些细节,比如,如何获取文章的标题,正文内容的 img 标签使用的是相对路径,如果要想在 pdf 中正常显示图片就需要将相对路径改为绝对路径,还有保存下来的 html 临时文件都要删除,这些细节末叶都放在github上。

完整代码可以上github下载 ,代码在 Windows 平台亲测有效,欢迎 fork 下载自己改进。github 地址3,GitHub访问不了的同学可以用码云4, 《廖雪峰的 Python 教程》电子书 PDF 文件可以通过关注本公众号『一个程序员的微站』回复 “pdf” 免费下载阅读。

Python 相关文章推荐
探究Python的Tornado框架对子域名和泛域名的支持
May 02 Python
Python生成不重复随机值的方法
May 11 Python
Flask框架中密码的加盐哈希加密和验证功能的用法详解
Jun 07 Python
Python用threading实现多线程详解
Feb 03 Python
python opencv读mp4视频的实例
Dec 07 Python
python 3.3 下载固定链接文件并保存的方法
Dec 18 Python
python对列进行平移变换的方法(shift)
Jan 10 Python
详解用python实现基本的学生管理系统(文件存储版)(python3)
Apr 25 Python
使用python爬取微博数据打造一颗“心”
Jun 28 Python
python dataframe NaN处理方式
Dec 26 Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 Python
Numpy数组的广播机制的实现
Nov 03 Python
Python 模块EasyGui详细介绍
Feb 19 #Python
Python中字符串格式化str.format的详细介绍
Feb 17 #Python
Python爬虫:通过关键字爬取百度图片
Feb 17 #Python
Python 遍历列表里面序号和值的方法(三种)
Feb 17 #Python
浅谈python中的实例方法、类方法和静态方法
Feb 17 #Python
Python之日期与时间处理模块(date和datetime)
Feb 16 #Python
python字符串中的单双引
Feb 16 #Python
You might like
function.inc.php超越php
2006/12/09 PHP
php出现Cannot modify header information问题的解决方法大全
2008/04/09 PHP
一款简单实用的php操作mysql数据库类
2014/12/08 PHP
Laravel中使用阿里云OSS Composer包分享
2015/02/10 PHP
InnerHtml和InnerText的区别分析
2009/03/13 Javascript
JQuery 风格的HTML文本转义
2009/07/01 Javascript
jQuery之日期选择器的深入解析
2013/06/19 Javascript
jQuery提交多个表单的小例子
2013/06/30 Javascript
table对象中的insertRow与deleteRow使用示例
2014/01/26 Javascript
jQuery知识点整理
2015/01/30 Javascript
JavaScript制作淘宝星级评分效果的思路
2020/06/23 Javascript
将List对象列表转换成JSON格式的类实现方法
2016/07/04 Javascript
javascript中的 object 和 function小结
2016/08/14 Javascript
基于jQuery制作小图标上下滑动特效
2017/01/18 Javascript
详解Node.js实现301、302重定向服务
2017/04/07 Javascript
javascript将json格式数组下载为excel表格的方法
2017/12/22 Javascript
关于TypeScript模块导入的那些事
2018/06/12 Javascript
JS实现根据指定值删除数组中的元素操作示例
2018/08/02 Javascript
代码实例ajax实现点击加载更多数据图片
2018/10/12 Javascript
jQuery分组选择器简单用法示例
2019/04/04 jQuery
微信小程序 flexbox layout快速实现基本布局的解决方案
2020/03/24 Javascript
Webpack5正式发布,有哪些新特性
2020/10/12 Javascript
[33:09]完美世界DOTA2联赛循环赛 Forest vs DM BO2第二场 10.29
2020/10/29 DOTA
[01:32:22]DOTA2-DPC中国联赛 正赛 Ehome vs VG BO3 第一场 2月5日
2021/03/11 DOTA
利用python将xml文件解析成html文件的实现方法
2017/12/22 Python
Django添加favicon.ico图标的示例代码
2018/08/07 Python
更新pip3与pyttsx3文字语音转换的实现方法
2019/08/08 Python
Html5新标签datalist实现输入框与后台数据库数据的动态匹配
2017/05/18 HTML / CSS
中文系师范生自荐信
2013/10/01 职场文书
大学生就业策划书范文
2014/04/04 职场文书
酒店七夕情人节活动策划方案
2014/08/24 职场文书
通知的写法
2015/04/23 职场文书
订货会主持词
2015/07/01 职场文书
大学生自我鉴定怎么写
2019/05/07 职场文书
创业计划书之游泳馆
2019/09/16 职场文书
开发一个封装iframe的vue组件
2021/03/29 Vue.js