Python爬虫包BeautifulSoup简介与安装(一)


Posted in Python onJune 17, 2018

先发官方文档的地址:官方文档

学习使用的书籍是Python网络数据采集(Ryan Mitchell著),大约是一些笔记的整理。

Beautiful Soup的简介

简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下:

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。

Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器,为用户灵活地提供不同的解析策略或强劲的速度。

安装

Beautiful Soup 3 目前已经停止开发,推荐在现在的项目中使用Beautiful Soup 4,不过它已经被移植到BS4了,也就是说导入时我们需要 import bs4 。所以这里我们用的版本是 Beautiful Soup 4.3.2 (简称BS4)。

书本中的源代码用的是Python3,但是据说 BS4 对 Python3 的支持不够好,所以我用的是 Python2.7。源码中也会相应地调整一些包的引入。

因为之前写过CNN等,需要在windows下配置环境,所以已经安装了anaconda。如果安装了anaconda的读者,可以直接使用pip安装,conda需要搜索一下,直接安装时不行的。

anaconda search -t conda beautifulsoup
conda install beautifulsoup4
pip install beautifulsoup4

如果想安装最新的版本,请直接下载安装包来手动安装,也是十分方便的方法。在这里我安装的是 beautifulsoup4 (4.5.1)

BeautifulSoup 3.2.1

BeautifulSoup 4.5.1

下载完成之后解压

运行下面的命令即可完成安装

sudo python setup.py install

有时候的安装方式会需手动安装 lxml,如果用conda安装会自动把依赖包给安装上。

pip install lxml

创建 Beautiful Soup 对象

首先导入bs4库

from bs4 import BeautifulSoup

用urlopen读取一段HTML的内容

import sys
if sys.version_info[0] == 2:
  from urllib2 import urlopen # Python 2
else:
  from urllib.request import urlopen # Python3

html = urlopen(http://www.pythonscraping.com/exercises/exercise1.html)

用读取的内容创建beautifulsoup 对象

bsObj = BeautifulSoup(html.read())
print(bsObj.h1)

此外我们也可以用本地的HTML文件来创建对象,例如

soup = BeautifulSoup(open('index.html'))

输出测试

print bsObj.h1
print bsObj.prettify()

<h1>An Interesting Title</h1>

<html>
 <head>
 <title>
  A Useful Page
 </title>
 </head>
 <body>
 <h1>
  An Interesting Title
 </h1>
 <div>
  Lorem ipsum dolor sit amet, consectetur adipisicing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.
 </div>
 </body>
</html>

以上便是输出结果,格式化打印出了它的内容,并且可以通过成员对象的方式获得解析后的HTML层次。

以上全部为本篇文章的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3基础之输入和输出实例分析
Aug 18 Python
使用python开发vim插件及心得分享
Nov 04 Python
python获取当前时间对应unix时间戳的方法
May 15 Python
详解Python中open()函数指定文件打开方式的用法
Jun 04 Python
Python遍历文件夹和读写文件的实现方法
May 10 Python
windows下安装python的C扩展编译环境(解决Unable to find vcvarsall.bat)
Feb 21 Python
Python高级用法总结
May 26 Python
python xlsxwriter创建excel图表的方法
Jun 11 Python
Python Grid使用和布局详解
Jun 30 Python
python实现基于信息增益的决策树归纳
Dec 18 Python
容易被忽略的Python内置类型
Sep 03 Python
Python实现Word文档转换Markdown的示例
Dec 22 Python
python主线程捕获子线程的方法
Jun 17 #Python
Python实现获取邮箱内容并解析的方法示例
Jun 16 #Python
Python实现自定义函数的5种常见形式分析
Jun 16 #Python
Python基于jieba库进行简单分词及词云功能实现方法
Jun 16 #Python
Python实现简单的文本相似度分析操作详解
Jun 16 #Python
Django跨域请求问题的解决方法示例
Jun 16 #Python
Python for循环生成列表的实例
Jun 15 #Python
You might like
php 操作数组(合并,拆分,追加,查找,删除等)
2012/07/20 PHP
关于mysql字符集设置了character_set_client=binary 在gbk情况下会出现表描述是乱码的情况
2013/01/06 PHP
php实现信用卡校验位算法THE LUHN MOD-10示例
2014/05/07 PHP
Laravel框架中扩展函数、扩展自定义类的方法
2014/09/04 PHP
xtree.js 代码
2007/03/13 Javascript
JS代码优化技巧之通俗版(减少js体积)
2011/12/23 Javascript
JavaScript框架(iframe)操作总结
2014/04/16 Javascript
javascript结合CSS实现苹果开关按钮特效
2015/04/07 Javascript
JS基于Mootools实现的个性菜单效果代码
2015/10/21 Javascript
JavaScript模拟鼠标右键菜单效果
2020/12/08 Javascript
js处理层级数据结构的方法小结
2017/01/17 Javascript
js实现二级导航功能
2017/03/03 Javascript
Angular.JS中select下拉框设置value的方法
2017/06/20 Javascript
p5.js码绘“跳动的小正方形”的实现代码
2019/10/22 Javascript
详解node和ES6的模块导出与导入
2020/02/19 Javascript
python的id()函数介绍
2013/02/10 Python
Python中的字符串操作和编码Unicode详解
2017/01/18 Python
Python单例模式实例详解
2017/03/01 Python
python实现扫描日志关键字的示例
2018/04/28 Python
PyTorch中Tensor的拼接与拆分的实现
2019/08/18 Python
Python爬虫实现百度翻译功能过程详解
2020/05/29 Python
Python如何设置指定窗口为前台活动窗口
2020/08/12 Python
跑步、骑行和铁人三项的高性能眼镜和服装:ROKA
2018/07/06 全球购物
软件工程专业推荐信
2013/10/28 职场文书
办公室主任岗位职责
2013/11/08 职场文书
面试后感谢信怎么写
2014/02/01 职场文书
创先争优活动方案
2014/02/12 职场文书
运动会标语
2014/06/21 职场文书
行政专员岗位职责说明书
2014/09/01 职场文书
布达拉宫导游词
2015/02/02 职场文书
自我评价优缺点范文
2015/03/11 职场文书
行政处罚事先告知书
2015/07/01 职场文书
2015双创工作总结
2015/07/24 职场文书
宣传委员竞选稿
2015/11/19 职场文书
Python 线程池模块之多线程操作代码
2021/05/20 Python
javascript函数式编程基础
2021/09/15 Javascript