python3实现网络爬虫之BeautifulSoup使用详解


Posted in Python onDecember 19, 2018

这一次我们来了解一下美味的汤--BeautifulSoup,这将是我们以后经常使用的一个库,并且非常的好用。

BeautifuleSoup库的名字取自刘易斯·卡罗尔在《爱丽丝梦游仙境》里的同名诗歌。在故事中,这首歌是素甲鱼唱的。就像它在仙境中的说法一样,BeautifulSoup尝试化平淡为神奇。它通过定位HTML标签来格式化和组织复杂的网络信息,用简单易用的Python对象为我们展现XML结构信息。

由于BeautifulSoup库不是Python标准库,因此我们需要单独安装这个库,才能使用它。对于这个库的安装,我们这里秉着简单的原则,就直接利用pycharm这个IDLE进行库的自动下载和导入。

首先我们进入pycharm的主界面,单击file-〉settings-〉Project:untitled-〉Project Interpreter,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

python3实现网络爬虫之BeautifulSoup使用详解

在上图中我们会看到一个绿色的加号,这时我们单击这个加号,会跳出如下的界面(pycharm在这个地方有时候很慢,会一直在这个界面刷新):

python3实现网络爬虫之BeautifulSoup使用详解

这时我们在搜索框中输入“bs4”,然后选择列表中的bs4,然后进行安装,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

这样我们就完成了BeautifulSoup这个库的安装,下面我们就可以来使用它了。

关于这个库的官方文档解释的是很详细的,一定要看一看:点击打开链接

下面我就简单说一下这个库的一些方面。

首先呢,我们还是从一个例子开始我们的学习:

#coding:utf - 8
from urllib.request import urlopen
from bs4 import BeautifulSoup
 
html = urlopen("http://tieba.baidu.com/")
bsObj=BeautifulSoup(html,"lxml")  #将html对象转化为BeautifulSoup对象
print(bsObj.title)  #输出这个网页中的标题 
执

执行上面的程序,我们会得到的结果为:<title>百度贴吧——全球最大的中文社区</title>
首先我们来分析下bsObj=BeautifulSoup(html,"lxml")这句话对我们的html做了什么,在这句代码中,我们将html对象传入到BeautifulSoup中将它转化成BeautifulSoup对象,关于第二个参数lxml,可以到官方文档中看,解释得很详细,这里大家只要知道带上它就可以了,不需要管它。这样,我们就成功将html对象转化为了BeautifulSoup对象。
下面我们来了解下BeautifulSoup对象的结构,当我们将html转化后得到的结构为:
html-><html><head>....</head><body>.....</body></html>
---head-><head><title>百度贴吧--全球最大的中文社区<title></head>

          ---title-><title>百度贴吧--全球最大的中文社区</title>

     ----body->.........

关于这个页面的结构我中间省略了一些无关紧要的元素,只是为了展示下这种层次化的结构。

从上面我们可以看出,BeautifulSoup将html对象进行了层次化处理了,对它的原网页的标签进行了逐层的处理和细化,以便于我们之后使用。也就是我们只要知道,任何HTML(或XML)文件的任意节点信息都可以被提取出来,只要目标信息的旁边或者附近有标记就行了,这个标记就是我们网页中使用到的各种div、li之类的标签元素,也可以是class、id之类的属性,通过这些我们都可以对需要的信息进行提取。

对于刚刚的bsObj.title这个提取标题的操作,由于一个网页中只有一个title,所以我们可以直接获取到它,因为它是唯一的嘛,大家可以这样理解,在一个学校中,你的学号是唯一的,我可以通过直接查找学号进而唯一的搜索你,而不会产生歧义。

对于bsObj.title我们有多重替代方案:

  • bsObj.html.head.title
  • bsObj.html.title
  • bsObj.head.title

关于上面的代码大家是对网页中元素的细化搜索,可以这样理解啊,假定你已经知道一个人是计科院的了,那你搜索他的时候常规思路便是直接在计科院找他,而bsObj.head中的head就相当于计科院,它是网页中的头部,title就放在这里面,所以我们使用bsObj.head.title也可以实现这个效果,其它的代码可以类似分析。

BeautifulSoup是一个对象,所以我们可以通过运算符“.”对它的属性进行提取。

如bsObj.title获取html的标题对象,bsObj.title.name获取标题的名字。。。

这里就先简单介绍这些,后面 我们将继续深入说明BeautifulSoup的好的使用方法。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python检测字符串中是否包含某字符集合中的字符
May 21 Python
Python简明入门教程
Aug 04 Python
python中urllib.unquote乱码的原因与解决方法
Apr 24 Python
Python队列的定义与使用方法示例
Jun 24 Python
Django框架自定义模型管理器与元选项用法分析
Jul 22 Python
python创建学生成绩管理系统
Nov 22 Python
为什么说python适合写爬虫
Jun 11 Python
基于python和flask实现http接口过程解析
Jun 15 Python
Python调用SMTP服务自动发送Email的实现步骤
Feb 07 Python
Python基础之数据类型知识汇总
May 18 Python
python数据可视化JupyterLab实用扩展程序Mito
Nov 20 Python
Python可视化学习之matplotlib内置单颜色
Feb 24 Python
python爬虫超时的处理的实例
Dec 19 #Python
pycharm中使用anaconda部署python环境的方法步骤
Dec 19 #Python
Django框架模板注入操作示例【变量传递到模板】
Dec 19 #Python
python json.loads兼容单引号数据的方法
Dec 19 #Python
Python查找文件中包含中文的行方法
Dec 19 #Python
对python requests发送json格式数据的实例详解
Dec 19 #Python
解决Python下json.loads()中文字符出错的问题
Dec 19 #Python
You might like
PHP语言中global和$GLOBALS[]的分析 之二
2012/02/02 PHP
php 的加密函数 md5,crypt,base64_encode 等使用介绍
2012/04/09 PHP
关于js与php互相传值的介绍
2013/06/25 PHP
PHP回溯法解决0-1背包问题实例分析
2015/03/23 PHP
如何修改yii2.0自带的user表为其它的表
2017/08/01 PHP
php中如何执行linux命令详解
2018/11/06 PHP
Jquery AJAX 用于计算点击率(统计)
2010/06/30 Javascript
Jquery上传插件 uploadify v3.1使用说明
2012/06/18 Javascript
复制js对象方法(详解)
2013/07/08 Javascript
jQuery中的Deferred和promise 的区别
2016/04/03 Javascript
省市联动效果的简单实现代码(推荐)
2016/06/06 Javascript
微信js-sdk地理位置接口用法示例
2016/10/12 Javascript
分分钟玩转Vue.js组件
2016/10/25 Javascript
利用jquery实现下拉框的禁用与启用
2016/12/07 Javascript
React创建组件的三种方式及其区别
2017/01/12 Javascript
bootstrap中模态框、模态框的属性实例详解
2017/02/17 Javascript
jQuery自定义元素右键点击事件(实现案例)
2017/04/28 jQuery
canvas实现弧形可拖动进度条效果
2017/05/11 Javascript
JS移动端/H5同时选择多张图片上传并使用canvas压缩图片
2017/06/20 Javascript
Postman模拟发送带token的请求方法
2018/03/31 Javascript
Vue实现根据hash高亮选项卡
2019/05/27 Javascript
jQuery实现雪花飘落效果
2020/08/02 jQuery
[04:14]从西雅图到上海——玩家自制DOTA2主题歌曲应援TI9
2019/07/11 DOTA
用Python将IP地址在整型和字符串之间轻松转换
2017/03/22 Python
python读写LMDB文件的方法
2018/07/02 Python
Python读取excel指定列生成指定sql脚本的方法
2018/11/28 Python
解决PyCharm的Python.exe已经停止工作的问题
2018/11/29 Python
Python基于mysql实现学生管理系统
2019/02/21 Python
springboot配置文件抽离 git管理统 配置中心详解
2019/09/02 Python
python 实现检验33品种数据是否是正态分布
2019/12/09 Python
使用HTML5拍照示例代码
2013/08/06 HTML / CSS
正宗的澳大利亚Ugg靴子零售商:UGG Express
2020/04/19 全球购物
单位在职证明范本
2014/01/09 职场文书
先进党支部事迹材料
2014/01/13 职场文书
本溪关门山导游词
2015/02/09 职场文书
新教师教学工作总结
2015/08/12 职场文书