python3实现网络爬虫之BeautifulSoup使用详解


Posted in Python onDecember 19, 2018

这一次我们来了解一下美味的汤--BeautifulSoup,这将是我们以后经常使用的一个库,并且非常的好用。

BeautifuleSoup库的名字取自刘易斯·卡罗尔在《爱丽丝梦游仙境》里的同名诗歌。在故事中,这首歌是素甲鱼唱的。就像它在仙境中的说法一样,BeautifulSoup尝试化平淡为神奇。它通过定位HTML标签来格式化和组织复杂的网络信息,用简单易用的Python对象为我们展现XML结构信息。

由于BeautifulSoup库不是Python标准库,因此我们需要单独安装这个库,才能使用它。对于这个库的安装,我们这里秉着简单的原则,就直接利用pycharm这个IDLE进行库的自动下载和导入。

首先我们进入pycharm的主界面,单击file-〉settings-〉Project:untitled-〉Project Interpreter,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

python3实现网络爬虫之BeautifulSoup使用详解

在上图中我们会看到一个绿色的加号,这时我们单击这个加号,会跳出如下的界面(pycharm在这个地方有时候很慢,会一直在这个界面刷新):

python3实现网络爬虫之BeautifulSoup使用详解

这时我们在搜索框中输入“bs4”,然后选择列表中的bs4,然后进行安装,如下图:

python3实现网络爬虫之BeautifulSoup使用详解

这样我们就完成了BeautifulSoup这个库的安装,下面我们就可以来使用它了。

关于这个库的官方文档解释的是很详细的,一定要看一看:点击打开链接

下面我就简单说一下这个库的一些方面。

首先呢,我们还是从一个例子开始我们的学习:

#coding:utf - 8
from urllib.request import urlopen
from bs4 import BeautifulSoup
 
html = urlopen("http://tieba.baidu.com/")
bsObj=BeautifulSoup(html,"lxml")  #将html对象转化为BeautifulSoup对象
print(bsObj.title)  #输出这个网页中的标题 
执

执行上面的程序,我们会得到的结果为:<title>百度贴吧——全球最大的中文社区</title>
首先我们来分析下bsObj=BeautifulSoup(html,"lxml")这句话对我们的html做了什么,在这句代码中,我们将html对象传入到BeautifulSoup中将它转化成BeautifulSoup对象,关于第二个参数lxml,可以到官方文档中看,解释得很详细,这里大家只要知道带上它就可以了,不需要管它。这样,我们就成功将html对象转化为了BeautifulSoup对象。
下面我们来了解下BeautifulSoup对象的结构,当我们将html转化后得到的结构为:
html-><html><head>....</head><body>.....</body></html>
---head-><head><title>百度贴吧--全球最大的中文社区<title></head>

          ---title-><title>百度贴吧--全球最大的中文社区</title>

     ----body->.........

关于这个页面的结构我中间省略了一些无关紧要的元素,只是为了展示下这种层次化的结构。

从上面我们可以看出,BeautifulSoup将html对象进行了层次化处理了,对它的原网页的标签进行了逐层的处理和细化,以便于我们之后使用。也就是我们只要知道,任何HTML(或XML)文件的任意节点信息都可以被提取出来,只要目标信息的旁边或者附近有标记就行了,这个标记就是我们网页中使用到的各种div、li之类的标签元素,也可以是class、id之类的属性,通过这些我们都可以对需要的信息进行提取。

对于刚刚的bsObj.title这个提取标题的操作,由于一个网页中只有一个title,所以我们可以直接获取到它,因为它是唯一的嘛,大家可以这样理解,在一个学校中,你的学号是唯一的,我可以通过直接查找学号进而唯一的搜索你,而不会产生歧义。

对于bsObj.title我们有多重替代方案:

  • bsObj.html.head.title
  • bsObj.html.title
  • bsObj.head.title

关于上面的代码大家是对网页中元素的细化搜索,可以这样理解啊,假定你已经知道一个人是计科院的了,那你搜索他的时候常规思路便是直接在计科院找他,而bsObj.head中的head就相当于计科院,它是网页中的头部,title就放在这里面,所以我们使用bsObj.head.title也可以实现这个效果,其它的代码可以类似分析。

BeautifulSoup是一个对象,所以我们可以通过运算符“.”对它的属性进行提取。

如bsObj.title获取html的标题对象,bsObj.title.name获取标题的名字。。。

这里就先简单介绍这些,后面 我们将继续深入说明BeautifulSoup的好的使用方法。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python random模块(获取随机数)常用方法和使用例子
May 13 Python
Tornado服务器中绑定域名、虚拟主机的方法
Aug 22 Python
python访问mysql数据库的实现方法(2则示例)
Jan 06 Python
Python的净值数据接口调用示例分享
Mar 15 Python
详解Python读取配置文件模块ConfigParser
May 11 Python
python学习基础之循环import及import过程
Apr 22 Python
python复制文件到指定目录的实例
Apr 27 Python
Anaconda下安装mysql-python的包实例
Jun 11 Python
Python和Java的语法对比分析语法简洁上python的确完美胜出
May 10 Python
Python爬虫动态ip代理防止被封的方法
Jul 07 Python
使用keras内置的模型进行图片预测实例
Jun 17 Python
python运算符之与用户交互
Apr 13 Python
python爬虫超时的处理的实例
Dec 19 #Python
pycharm中使用anaconda部署python环境的方法步骤
Dec 19 #Python
Django框架模板注入操作示例【变量传递到模板】
Dec 19 #Python
python json.loads兼容单引号数据的方法
Dec 19 #Python
Python查找文件中包含中文的行方法
Dec 19 #Python
对python requests发送json格式数据的实例详解
Dec 19 #Python
解决Python下json.loads()中文字符出错的问题
Dec 19 #Python
You might like
总集篇&特番节目先行播出!《SAO Alicization War of Underworld》第2季度TV动画4月25日放送!
2020/03/06 日漫
php教程之魔术方法的使用示例(php魔术函数)
2014/02/12 PHP
php封装db类连接sqlite3数据库的方法实例
2017/12/19 PHP
jquery 页眉单行信息滚动显示实现思路及代码
2014/06/26 Javascript
jQuery中bind()方法用法实例
2015/01/19 Javascript
JavaScript弹出新窗口并控制窗口移动到指定位置的方法
2015/04/06 Javascript
js简单实现调整网页字体大小的方法
2016/07/23 Javascript
jQuery实现的兼容性浮动层示例
2016/08/02 Javascript
@ResponseBody 和 @RequestBody 注解的区别
2017/03/08 Javascript
js实现悬浮窗效果(支持拖动)
2017/03/09 Javascript
angularjs的select使用及默认选中设置
2017/04/08 Javascript
Javascript循环删除数组中元素的几种方法示例
2017/05/18 Javascript
Vue项目中使用WebUploader实现文件上传的方法
2019/07/21 Javascript
Vue中多元素过渡特效的解决方案
2020/02/05 Javascript
Flask入门教程实例:搭建一个静态博客
2015/03/27 Python
Django中几种重定向方法
2015/04/28 Python
对TensorFlow中的variables_to_restore函数详解
2018/07/30 Python
python3.7.0的安装步骤
2018/08/27 Python
Django 全局的static和templates的使用详解
2019/07/19 Python
使用opencv将视频帧转成图片输出
2019/12/10 Python
python中常见错误及解决方法
2020/06/21 Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
2021/02/18 Python
Html5导航栏吸顶方案原理与对比实现
2020/06/10 HTML / CSS
美国鞋类购物网站:Shiekh Shoes
2016/08/21 全球购物
英国领先的瓷砖专家:Walls and Floors
2018/04/27 全球购物
英国健身仓库:Bodybuilding Warehouse
2019/03/06 全球购物
美体小铺奥地利官方网站:The Body Shop奥地利
2019/04/11 全球购物
美国在线购买空气净化器、除湿器、加湿器网站:AllergyBuyersClub
2021/03/16 全球购物
如何高效率的查找一个月以内的数据
2012/04/15 面试题
Delphi笔试题
2016/11/14 面试题
汽车维修专业个人求职信范文
2014/01/01 职场文书
护士节策划方案
2014/05/19 职场文书
初二学生评语大全
2014/12/26 职场文书
实习介绍信模板
2015/01/30 职场文书
2015年采购员工作总结
2015/04/27 职场文书
2019年描写人生经典诗句大全
2019/07/08 职场文书