Python爬虫的两套解析方法和四种爬虫实现过程


Posted in Python onJuly 20, 2018

对于大多数朋友而言,爬虫绝对是学习 python 的最好的起手和入门方式。因为爬虫思维模式固定,编程模式也相对简单,一般在细节处理上积累一些经验都可以成功入门。本文想针对某一网页对  python 基础爬虫的两大解析库(  BeautifulSoup 和  lxml )和几种信息提取实现方法进行分析,以开  python 爬虫之初见。

基础爬虫的固定模式

笔者这里所谈的基础爬虫,指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言,基础爬虫的两大请求库 urllib 和  requests 中  requests 通常为大多数人所钟爱,当然  urllib 也功能齐全。两大解析库  BeautifulSoup 因其强大的  HTML 文档解析功能而备受青睐,另一款解析库  lxml 在搭配  xpath 表达式的基础上也效率提高。就基础爬虫来说,两大请求库和两大解析库的组合方式可以依个人偏好来选择。

笔者喜欢用的爬虫组合工具是:

  • requests +  BeautifulSoup
  • requests +  lxml

同一网页爬虫的四种实现方式

笔者以腾讯新闻首页的新闻信息抓取为例。

首页外观如下:

Python爬虫的两套解析方法和四种爬虫实现过程 

比如说我们想抓取每个新闻的标题和链接,并将其组合为一个字典的结构打印出来。首先查看 HTML 源码确定新闻标题信息组织形式。

Python爬虫的两套解析方法和四种爬虫实现过程 

可以目标信息存在于 em 标签下  a 标签内的文本和  href 属性中。可直接利用  requests 库构造请求,并用  BeautifulSoup 或者  lxml 进行解析。

方式一: requests +  BeautifulSoup +  select css选择器

# select method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'} 
 url = 'http://news.qq.com/' 
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
 em = Soup.select('em[class="f14 l24"] a')
 for i in em:
   title = i.get_text()
   link = i['href']
   print({'标题': title, 
 '链接': link
   })

很常规的处理方式,抓取效果如下:

Python爬虫的两套解析方法和四种爬虫实现过程 

方式二: requests +  BeautifulSoup +  find_all 进行信息提取

# find_all method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml') 
 em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
   title = i.a.get_text()
   link = i.a['href']
   print({'标题': title,
      '链接': link
   })

同样是 requests +  BeautifulSoup 的爬虫组合,但在信息提取上采用了  find_all 的方式。效果如下:

Python爬虫的两套解析方法和四种爬虫实现过程 

方式三: requests +  lxml/etree +  xpath 表达式

# lxml/etree method
 import requests
 from lxml import etree 
 headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 html = requests.get(url = url, headers = headers)
 con = etree.HTML(html.text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'标题': i[0],
 '链接': i[1]
   })

使用 lxml 库下的  etree 模块进行解析,然后使用  xpath 表达式进行信息提取,效率要略高于  BeautifulSoup +  select 方法。这里对两个列表的组合采用了  zip 方法。python学习交流群:125240963效果如下:

Python爬虫的两套解析方法和四种爬虫实现过程 

方式四: requests +  lxml/html/fromstring +  xpath 表达式

# lxml/html/fromstring method
 import requests
 import lxml.html as HTML 
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 con = HTML.fromstring(requests.get(url = url, headers = headers).text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'标题': i[0],'链接': i[1]
   })

跟方法三类似,只是在解析上使用了 lxml 库下的  html.fromstring 模块。抓取效果如下:

Python爬虫的两套解析方法和四种爬虫实现过程 

很多人觉得爬虫有点难以掌握,因为知识点太多,需要懂前端、需要python熟练、还需要懂数据库,更不用说正则表达式、XPath表达式这些。其实对于一个简单网页的数据抓取,不妨多尝试几种抓取方案,举一反三,也更能对python爬虫有较深的理解。长此以往,对于各类网页结构都有所涉猎,自然经验丰富,水到渠成。

总结

以上所述是小编给大家介绍的Python爬虫的两套解析方法和四种爬虫实现过程,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python根据经纬度计算距离示例
Feb 16 Python
python字符串,数值计算
Oct 05 Python
Scrapy-redis爬虫分布式爬取的分析和实现
Feb 07 Python
Python中的二维数组实例(list与numpy.array)
Apr 13 Python
Python FTP两个文件夹间的同步实例代码
May 25 Python
Python基于最小二乘法实现曲线拟合示例
Jun 14 Python
python字典的遍历3种方法详解
Aug 10 Python
Python协程 yield与协程greenlet简单用法示例
Nov 22 Python
python字符串替换re.sub()实例解析
Feb 09 Python
PyCharm GUI界面开发和exe文件生成的实现
Mar 04 Python
Python基于内置函数type创建新类型
Oct 22 Python
python excel和yaml文件的读取封装
Jan 12 Python
使用python脚本实现查询火车票工具
Jul 19 #Python
Python 判断文件或目录是否存在的实例代码
Jul 19 #Python
Flask框架Jinjia模板常用语法总结
Jul 19 #Python
python一行sql太长折成多行并且有多个参数的方法
Jul 19 #Python
python代码过长的换行方法
Jul 19 #Python
Flask和Django框架中自定义模型类的表名、父类相关问题分析
Jul 19 #Python
python多行字符串拼接使用小括号的方法
Mar 19 #Python
You might like
PHP如何抛出异常处理错误
2011/03/02 PHP
VIM中设置php自动缩进为4个空格的方法详解
2013/06/14 PHP
php多文件上传下载示例分享
2014/02/20 PHP
PHP中FTP相关函数小结
2016/07/15 PHP
php简单随机字符串生成方法示例
2017/04/19 PHP
PHP生成图表pChart的示例解析
2020/07/31 PHP
基于jquery实现拆分姓名的方法(纯JS版)
2013/05/08 Javascript
原生JS可拖动弹窗效果实例代码
2013/11/09 Javascript
js hover 定时器(实例代码)
2013/11/12 Javascript
jQuery中:radio选择器用法实例
2015/01/03 Javascript
js实现字符串转日期格式的方法
2015/05/20 Javascript
最新最热最实用的15个jQuery插件汇总
2015/07/05 Javascript
json的使用小结
2016/06/08 Javascript
jQuery插件简单学习实例教程
2016/07/01 Javascript
AngularJS入门教程之数据绑定用法示例
2016/11/01 Javascript
jQuery实现鼠标滑过图片移动特效
2016/12/08 Javascript
iOS + node.js使用Socket.IO框架进行实时通信示例
2017/04/14 Javascript
详解vue中引入stylus及报错解决方法
2017/09/22 Javascript
Nodejs连接mysql并实现增、删、改、查操作的方法详解
2018/01/04 NodeJs
vue eslint简要配置教程详解
2019/07/26 Javascript
解析JS在获取当前月的最后一天遇到的坑
2019/08/30 Javascript
vue动态绘制四分之三圆环图效果
2019/09/03 Javascript
Vue基本指令实例图文讲解
2021/02/25 Vue.js
Python列表list排列组合操作示例
2018/12/18 Python
pytorch forward两个参数实例
2020/01/17 Python
Django操作session 的方法
2020/03/09 Python
python 写函数在一定条件下需要调用自身时的写法说明
2020/06/01 Python
Python pip使用超时问题解决方案
2020/08/03 Python
Python collections模块的使用方法
2020/10/09 Python
俄罗斯厨房产品购物网站:COOK HOUSE
2021/03/15 全球购物
2014年审计人员工作总结
2014/12/19 职场文书
2015年中秋寄语
2015/07/31 职场文书
生日宴会祝酒词
2015/08/10 职场文书
青年教师听课心得体会
2016/01/15 职场文书
《自然之道》读后感3篇
2019/12/17 职场文书
Python Matplotlib绘制条形图的全过程
2021/10/24 Python