python爬虫之爬取百度音乐的实现方法


Posted in Python onAugust 24, 2019

在上次的爬虫中,抓取的数据主要用到的是第三方的Beautifulsoup库,然后对每一个具体的数据在网页中的selecter来找到它,每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上,只是其子节点不同。在上次爬虫中,每一类数据都要从其父类(包括其父节点的父节点)上往下寻找ROI数据所在的子节点,这样就会使爬虫很臃肿,因为很多数据有相同的父节点,每次都要重复的找到这个父节点。这样的爬虫效率很低。

因此,笔者在上次的基础上,改进了一下爬取的策略,笔者以实例来描述。

python爬虫之爬取百度音乐的实现方法

如图,笔者此次爬取的是百度音乐的页面,所爬取的类容是上面榜单下的所有内容(歌曲名,歌手,排名)。如果按照上次的爬虫的方法便要写上三个select方法,分别抓取歌曲名,歌手,排名,但笔者观察得知这三项数据皆放在一个li标签内,如图:

python爬虫之爬取百度音乐的实现方法

这样我们是不是直接抓取ul标签,再分析其中的数据便可得到全部数据了?答案是,当然可以。

但Beaufulsoup不能直接提供这样的方法,但Python无所不能,python里面自带的re模块是我见过最迷人的模块之一。它能在字符串中找到我们让我们roi的区域,上述的li标签中包含了我们需要的歌曲名,歌手,排名数据,我们只需要在li标签中通过re.findall()方法,便可找到我们需要的数据。这样就能够大大提升我们爬虫的效率。

我们先来直接分析代码:

def parse_one_page(html): 
 soup = BeautifulSoup(html, 'lxml') 
 data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li') 
 pattern1 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?title="(.*?)".*?</li>', re.S) 
 pattern2 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?target="_blank">(.*?)</a>', re.S) 
 
 wants = [] 
 for item in data: 
  # print(item) 
  final = re.findall(pattern1, str(item)) 
  if len(final) == 1: 
   # print(final[0]) 
   wants.append(final[0]) 
  else: 
   other = re.findall(pattern2, str(item)) 
   # print(other[0]) 
   wants.append(other[0]) 
 return wants

上面的代码是我分析网页数据的全部代码,这里不得不说python语言的魅力,数十行代码便能完成java100行的任务,C/C++1000行的任务。上述函数中,笔者首先通过Beautifulsoup得到该网页的源代码,再通过select()方法得到所有li标签中的数据。

到这里,这个爬虫便要进入到最重要的环节了,相信很多不懂re模块的童靴们有点慌张,在这里笔者真的是强烈推荐对python有兴趣的童靴们一定要学习这个非常重要的一环。首先,我们知道re的方法大多只针对string型数据,因此我们调用str()方法将每个list中的数据(即item)转换为string型。然后便是定义re的pattern了,这是个稍显复杂的东西,其中主要用到re.compile()函数得到要在string中配对的pattern,这里笔者便不累述了,感兴趣的童靴可以去网上查阅一下资料。

上述代码中,笔者写了两个pattern,因为百度音乐的网页里,li标签有两个结构,当用一个pattern在li中找不到数据时,便使用另一个pattern。关于re.findadd()方法,它会返回一个list,里面装着tuple,但其实我们知道我们找到的数据就是list[0],再将每个数据添加到另一个List中,让函数返回。

相信很多看到这里的小伙伴已经云里雾里,无奈笔者对re板块也知道的不多,对python感兴趣的同学可以查阅相关资料再来看一下代码,相信能够如鱼得水。

完整的代码如下:

import requests 
from bs4 import BeautifulSoup 
import re 
 
 
def get_one_page(url): 
 wb_data = requests.get(url) 
 wb_data.encoding = wb_data.apparent_encoding 
 if wb_data.status_code == 200: 
  return wb_data.text 
 else: 
  return None 
 
 
def parse_one_page(html): 
 soup = BeautifulSoup(html, 'lxml') 
 data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li') 
 pattern1 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?title="(.*?)".*?</li>', re.S) 
 pattern2 = re.compile(r'<li.*?<div class="index">(.*?)</div>.*?title="(.*?)".*?target="_blank">(.*?)</a>', re.S) 
 
 wants = [] 
 for item in data: 
  # print(item) 
  final = re.findall(pattern1, str(item)) 
  if len(final) == 1: 
   # print(final[0]) 
   wants.append(final[0]) 
  else: 
   other = re.findall(pattern2, str(item)) 
   # print(other[0]) 
   wants.append(other[0]) 
 return wants 
 
 
if __name__ == '__main__': 
 url = 'http://music.baidu.com/' 
 html = get_one_page(url) 
 data = parse_one_page(html) 
 for item in data: 
  dict = { 
   '序列': item[0], 
   '歌名': item[1], 
   '歌手': item[2] 
  } 
  print(dict)

最后我们看到的输出结果如下:

python爬虫之爬取百度音乐的实现方法

好了,笔者今天就到这里了。希望喜欢python的萌新能够快速实现自己的spider,也希望一些大神们能够看到这篇文章时不吝赐教。

以上这篇python爬虫之爬取百度音乐的实现方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python多重继承实例
Oct 11 Python
在Django框架中运行Python应用全攻略
Jul 17 Python
栈和队列数据结构的基本概念及其相关的Python实现
Aug 24 Python
Python中绑定与未绑定的类方法用法分析
Apr 29 Python
Python搭建HTTP服务器和FTP服务器
Mar 09 Python
python针对excel的操作技巧
Mar 13 Python
python 获取指定文件夹下所有文件名称并写入列表的实例
Apr 23 Python
pycharm运行和调试不显示结果的解决方法
Nov 30 Python
python字符串查找函数的用法详解
Jul 08 Python
python单线程下实现多个socket并发过程详解
Jul 27 Python
详解基于python的全局与局部序列比对的实现(DNA)
Oct 07 Python
解决Pytorch修改预训练模型时遇到key不匹配的情况
Jun 05 Python
python3 实现爬取TOP500的音乐信息并存储到mongoDB数据库中
Aug 24 #Python
python处理自动化任务之同时批量修改word里面的内容的方法
Aug 23 #Python
解决在pycharm运行代码,调用CMD窗口的命令运行显示乱码问题
Aug 23 #Python
简单分析python的类变量、实例变量
Aug 23 #Python
python3 selenium自动化 frame表单嵌套的切换方法
Aug 23 #Python
python-Web-flask-视图内容和模板知识点西宁街
Aug 23 #Python
python3 selenium自动化测试 强大的CSS定位方法
Aug 23 #Python
You might like
ECSHOP完美解决Deprecated: preg_replace()报错的问题
2016/05/17 PHP
javascript 对象比较实现代码
2009/04/27 Javascript
javascript 操作Word和Excel的实现代码
2009/10/26 Javascript
一个XML格式数据转换为图表的例子
2010/02/09 Javascript
js select常用操作控制代码
2010/03/16 Javascript
js动态创建上传表单通过iframe模拟Ajax实现无刷新
2014/02/20 Javascript
js实现星星打分效果的方法
2020/07/05 Javascript
js面向对象之公有、私有、静态属性和方法详解
2015/04/17 Javascript
window.location.reload 刷新使用分析(去对话框)
2015/11/11 Javascript
解决Angular.Js与Django标签冲突的方案
2016/12/20 Javascript
AngularJS constant和value区别详解
2017/02/28 Javascript
详解node中创建服务进程
2017/05/09 Javascript
微信小程序中如何计算距离某个节日还有多少天
2019/07/15 Javascript
Python实现批量把SVG格式转成png、pdf格式的代码分享
2014/08/21 Python
跟老齐学Python之list和str比较
2014/09/20 Python
python实现根据主机名字获得所有ip地址的方法
2015/06/28 Python
Python中实现switch功能实例解析
2018/01/11 Python
将labelme格式数据转化为标准的coco数据集格式方式
2020/02/17 Python
Django User 模块之 AbstractUser 扩展详解
2020/03/11 Python
飞利浦比利时官方网站:Philips比利时
2016/08/24 全球购物
德购商城:德国进口直邮商城
2017/06/13 全球购物
Lookfantastic西班牙官网:英国知名美妆购物网站
2018/06/13 全球购物
武汉英思工程科技有限公司&ndash;ORACLE面试测试题目
2012/04/30 面试题
销售业务员岗位职责
2014/01/29 职场文书
《梅兰芳学艺》教学反思
2014/02/24 职场文书
绩效工资实施方案
2014/03/15 职场文书
中介业务员岗位职责
2014/04/09 职场文书
防灾减灾宣传标语
2014/10/07 职场文书
电子商务专业求职信范文
2015/03/19 职场文书
2016新党章学习心得体会
2016/01/15 职场文书
2016年幼儿园教师政治学习心得体会
2016/01/23 职场文书
七年级作文之我的梦想
2019/10/16 职场文书
初中运动会闭幕词范本3篇
2019/12/09 职场文书
浏览器常用基本操作之python3+selenium4自动化测试(基础篇3)
2021/05/21 Python
Nebula Graph解决风控业务实践
2022/03/31 MySQL
方法汇总:Python 安装第三方库常用
2022/04/26 Python