详解python selenium 爬取网易云音乐歌单名


Posted in Python onMarch 28, 2019

目标网站:

详解python selenium 爬取网易云音乐歌单名

首先获取第一页的数据,这里关键要切换到iframe里

详解python selenium 爬取网易云音乐歌单名

打印一下

详解python selenium 爬取网易云音乐歌单名

获取剩下的页数,这里在点击下一页之前需要设置一个延迟,不然会报错。

详解python selenium 爬取网易云音乐歌单名

结果:

详解python selenium 爬取网易云音乐歌单名

一共37页,爬取完毕后关闭浏览器

完整代码:

url = 'https://music.163.com/#/discover/playlist/'

from selenium import webdriver
import time
# 创建浏览器对象
window = webdriver.Chrome('./chromedriver')
window.get(url)
time.sleep(1)
# 切换到iframe窗口
iframe = window.find_element_by_id('g_iframe')
window.switch_to.frame(iframe)
music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
for music_element in music_list:
 print(music_element.text)
 print()
print('*'*20)

page = 1
# 开始提取
while True:
 time.sleep(2)
 # 获取下一页
 next = window.find_element_by_link_text('下一页')
 if not next.get_attribute('class') == 'zbtn znxt js-disabled':
  next.click()
 else:
  break
 time.sleep(1)
 # 提取数据
 music_list = window.find_elements_by_xpath('//ul[@class="m-cvrlst f-cb"]/li')
 for music_element in music_list:
  print(music_element.text)
  print()
 print(page,'*'*20)
 page+=1
# 退出浏览器
window.quit()

以上所述是小编给大家介绍的python selenium爬取网易云音乐歌单名详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
探究python中open函数的使用
Mar 01 Python
python实现决策树、随机森林的简单原理
Mar 26 Python
python中itertools模块zip_longest函数详解
Jun 12 Python
Python读取stdin方法实例
May 24 Python
Django文件存储 默认存储系统解析
Aug 02 Python
Python批量启动多线程代码实例
Feb 18 Python
python中使用you-get库批量在线下载bilibili视频的教程
Mar 10 Python
Keras 利用sklearn的ROC-AUC建立评价函数详解
Jun 15 Python
python数据抓取3种方法总结
Feb 07 Python
解决python绘图使用subplots出现标题重叠的问题
Apr 30 Python
Python 中 Shutil 模块详情
Nov 11 Python
python3中apply函数和lambda函数的使用详解
Feb 28 Python
pyqt5利用pyqtDesigner实现登录界面
Mar 28 #Python
Django实现单用户登录的方法示例
Mar 28 #Python
pyqt5实现登录界面的模板
May 30 #Python
python实现AES加密和解密
Mar 27 #Python
详解Python计算机视觉 图像扭曲(仿射扭曲)
Mar 27 #Python
python实现向微信用户发送每日一句 python实现微信聊天机器人
Mar 27 #Python
Pandas读写CSV文件的方法示例
Mar 27 #Python
You might like
php5 图片验证码实现代码
2009/12/11 PHP
在命令行下运行PHP脚本[带参数]的方法
2010/01/22 PHP
PHP中将网页导出为Word文档的代码
2012/05/25 PHP
php 判断数组是几维数组
2013/03/20 PHP
Session的工作机制详解和安全性问题(PHP实例讲解)
2014/04/10 PHP
php使用PDO操作MySQL数据库实例
2014/12/30 PHP
PHP7正式版测试,性能惊艳!
2015/12/08 PHP
php 替换文章中的图片路径,下载图片到本地服务器的方法
2018/02/06 PHP
PHP页面静态化――纯静态与伪静态用法详解
2020/06/05 PHP
jquery.validate使用攻略 第五步 正则验证
2010/07/01 Javascript
JS 自定义带默认值的函数
2011/07/21 Javascript
jQuery代码优化 选择符篇
2011/11/01 Javascript
JQuery的Ajax请求实现局部刷新的简单实例
2014/02/11 Javascript
使用js实现一个可编辑的select下拉列表
2014/02/20 Javascript
对new functionName()定义一个函数的理解
2014/05/22 Javascript
js中document.write的那点事
2014/12/12 Javascript
微信小程序 UI与容器组件总结
2017/02/21 Javascript
Vue中使用canvas方法总结
2019/02/12 Javascript
js实现录音上传功能
2019/11/22 Javascript
Vue(定时器)解决mounted不能获取到data中的数据问题
2020/07/30 Javascript
[52:14]VG vs Serenity 2018国际邀请赛小组赛BO2 第一场 8.17
2018/08/20 DOTA
Python fileinput模块使用实例
2015/05/28 Python
Python 描述符(Descriptor)入门
2016/11/20 Python
对django xadmin自定义菜单的实例详解
2019/01/03 Python
详解Python 字符串相似性的几种度量方法
2019/08/29 Python
Python将视频或者动态图gif逐帧保存为图片的方法
2019/09/10 Python
PyCharm下载和安装详细步骤
2019/12/17 Python
Django用数据库表反向生成models类知识点详解
2020/03/25 Python
UNIX文件类型
2013/08/29 面试题
网络教育自我鉴定
2013/11/01 职场文书
道路运输企业安全生产责任书
2014/07/28 职场文书
文员试用期转正自我鉴定
2014/09/14 职场文书
党政领导班子群众路线对照检查材料
2014/10/26 职场文书
立案决定书范文
2015/06/24 职场文书
2016年5月份红领巾广播稿
2015/12/21 职场文书
利用Java设置Word文本框中的文字旋转方向的实现方法
2021/06/28 Java/Android