15行Python代码实现网易云热门歌单实例教程


Posted in Python onMarch 10, 2019

0. 引言

马上314情人节就要来了,是否需要一首歌来抚慰你,受伤或躁动的心灵。来吧,今天教你用15行代码搞定热门歌单。学起来并听起来吧。

本文使用的是Selenium模块,它是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等等操作,对于一些 JavaScript 渲染的页面来说,此种抓取方式非常有效。另外采用了Chrome浏览器配合Selenium工作。

下面话不多说了,来一起看看详细的介绍吧

1. 环境

操作系统:Windows

Python版本:3.7.2

2. 准备工作

a. 若你的环境中没有selenium模块,直接使用pip安装即可。

pip install selenium

b. 打开谷歌浏览器,检查Chrome的版本:在浏览器地址中输入 chrome://settings/help 回车即可看到。

15行Python代码实现网易云热门歌单实例教程

c. 打开ChromeDriver 的官方网站:
https://sites.google.com/a/ch...
寻找与你当前浏览器版本相对应的ChromeDriver下载。

15行Python代码实现网易云热门歌单实例教程

d. 选择你自己的操作系统类型进行下载即可。

15行Python代码实现网易云热门歌单实例教程

e. 以Windows为例,下载结束后,将ChromeDriver 放置在python安装目录下的Scripts文件夹即可。

15行Python代码实现网易云热门歌单实例教程

准备工作完成,代码写起来吧~

3. 迷你爬虫的实现

我们这次的目标是爬取热门歌单,比如网易云音乐中播放量大于1000万的歌单信息(歌单名称、链接)。

a. 我们先来打开网易云的歌单第一页:
https://music.163.com/#/disco...

b. 使用Chrome的开发者工具<F12>进行分析。

15行Python代码实现网易云热门歌单实例教程

我们想要拿的信息全在这里:

  • msk,封面[mask]:有歌单的名称及链接
  • nb,播放数[number broadcast]:135万

c. 我们还需要遍历所有的页,使用工具继续分析,找到“下一页”的URL。

15行Python代码实现网易云热门歌单实例教程

d. 切换至最后一页,拿到最后一页的URL。

15行Python代码实现网易云热门歌单实例教程

e. 等我们爬取完所有符合的歌单信息后,将其保存在本地。

f. 全部工作结束,最后再通过下面的伪代码回顾下整体思路。

15行Python代码实现网易云热门歌单实例教程

g. 爬取的效果如下:

15行Python代码实现网易云热门歌单实例教程

4. 总结

本文旨在安抚你因情人节受伤的小心灵,同时带你入个爬虫的门,感受下python的强大。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python用来获得图片exif信息的库实例分析
Mar 16 Python
python获取各操作系统硬件信息的方法
Jun 03 Python
详解Django框架中的视图级缓存
Jul 23 Python
Python编程实战之Oracle数据库操作示例
Jun 21 Python
Python排序搜索基本算法之选择排序实例分析
Dec 09 Python
解决python xlrd无法读取excel文件的问题
Dec 25 Python
用OpenCV将视频分解成单帧图片,图片合成视频示例
Dec 10 Python
PyQt使用QPropertyAnimation开发简单动画
Apr 02 Python
python转化excel数字日期为标准日期操作
Jul 14 Python
解决redis与Python交互取出来的是bytes类型的问题
Jul 16 Python
python 使用paramiko模块进行封装,远程操作linux主机的示例代码
Dec 03 Python
python字符串的多行输出的实例详解
Jun 08 Python
Python如何爬取实时变化的WebSocket数据的方法
Mar 09 #Python
浅谈python的深浅拷贝以及fromkeys的用法
Mar 08 #Python
Python高级特性与几种函数的讲解
Mar 08 #Python
Python I/O与进程的详细讲解
Mar 08 #Python
举例讲解Python常用模块
Mar 08 #Python
python re库的正则表达式入门学习教程
Mar 08 #Python
opencv与numpy的图像基本操作
Mar 08 #Python
You might like
风味层面去分析咖啡油脂
2021/03/03 咖啡文化
libmysql.dll与php.ini是否真的要拷贝到c:\windows目录下呢
2010/03/15 PHP
PHP中英混合字符串截取函数代码
2011/07/17 PHP
解析mysql left( right ) join使用on与where筛选的差异
2013/06/18 PHP
Smarty中常用变量操作符汇总
2014/10/27 PHP
PHPExcel内存泄漏问题解决方法
2015/01/23 PHP
基于JQuery的Pager分页器实现代码
2010/07/17 Javascript
解析js中获得父窗口链接getParent方法以及各种打开窗口的方法
2013/06/19 Javascript
JavaScript设计模式之外观模式介绍
2014/12/28 Javascript
jquery判断单选按钮radio是否选中的方法
2015/05/05 Javascript
js兼容火狐获取图片宽和高的方法
2015/05/21 Javascript
jquery实现实时改变网页字体大小、字体背景色和颜色的方法
2015/08/05 Javascript
Bootstrap实现提示框和弹出框效果
2017/01/11 Javascript
js以及jquery实现手风琴效果
2020/04/17 Javascript
JavaScript 完成注册页面表单校验的实例
2017/08/19 Javascript
javascript 作用于作用域链的详解
2017/09/27 Javascript
jquery自定义显示消息数量
2017/12/19 jQuery
JS实现滚动条触底加载更多
2019/09/19 Javascript
ES6 proxy和reflect的使用方法与应用实例分析
2020/02/15 Javascript
[03:26]《DAC最前线》之EG经理自述DOTA2经历
2015/02/02 DOTA
[24:42]VP vs TNC Supermajor小组赛B组 BO3 第三场 6.2
2018/06/03 DOTA
python实现爬虫下载漫画示例
2014/02/16 Python
python使用turtle绘制国际象棋棋盘
2019/05/23 Python
Mac中PyCharm配置Anaconda环境的方法
2020/03/04 Python
Python爬虫设置Cookie解决网站拦截并爬取蚂蚁短租的问题
2021/02/22 Python
如何利用input事件来监听移动端的输入
2016/04/15 HTML / CSS
加拿大时尚床上用品零售商:QE Home | Quilts Etc
2018/01/22 全球购物
结婚喜宴主持词
2014/03/14 职场文书
社区文化建设方案
2014/05/02 职场文书
优秀应届本科生求职信
2014/07/19 职场文书
校车安全责任书
2014/08/25 职场文书
领导班子奢靡之风查摆问题及整改措施
2014/09/27 职场文书
2014年勤工助学工作总结
2014/11/24 职场文书
清明节文明祭祀倡议书
2015/04/28 职场文书
2016年学校综治宣传月活动总结
2016/03/16 职场文书
简历自我评价范文
2019/04/24 职场文书