python爬取酷狗音乐排行榜


Posted in Python onFebruary 20, 2019

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下

#coding=utf-8
from pymongo import MongoClient
import time 
import requests 
from lxml import etree 
 
client = MongoClient()      #连接mongo
hello = client.hello       #连接数据库
user = hello.song         #连接表
 
headers = { 
  'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} 
 
def get_info(url): 
  '''
  get源码,encode,解析,xpath,保存 
  '''
  response = requests.get(url, headers=headers) 
  response = response.text.encode('utf-8') 
  selector = etree.HTML(response) 
  soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') 
 
  #保存到本地
  # with open('aa.txt','a') as f:
    # for i in soup:
      # f.write(i.encode('utf-8') + '\n')
 
  #存入数据库
  for i in soup:
    user.insert({'song': i})
 
if __name__ == '__main__': 
  urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] 
  for url in urls: 
    print(url) 
    get_info(url)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python django 访问静态文件出现404或500错误
Jan 20 Python
python cx_Oracle模块的安装和使用详细介绍
Feb 13 Python
Python实现的手机号归属地相关信息查询功能示例
Jun 08 Python
Python django使用多进程连接mysql错误的解决方法
Oct 08 Python
在python带权重的列表中随机取值的方法
Jan 23 Python
centos6.5安装python3.7.1之后无法使用pip的解决方案
Feb 14 Python
Pycharm 文件更改目录后,执行路径未更新的解决方法
Jul 19 Python
使用Python的turtle模块画国旗
Sep 24 Python
pandas将多个dataframe以多个sheet的形式保存到一个excel文件中
Oct 10 Python
Python+unittest+requests+excel实现接口自动化测试框架
Dec 23 Python
python 如何执行控制台命令与操作剪切板
May 20 Python
Python中seaborn库之countplot的数据可视化使用
Jun 11 Python
python 定时器,轮询定时器的实例
Feb 20 #Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 #Python
python爬取内容存入Excel实例
Feb 20 #Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
You might like
用Socket发送电子邮件
2006/10/09 PHP
一个关于jqGrid使用的小例子(行按钮)
2011/11/04 Javascript
IE6浏览器下resize事件被执行了多次解决方法
2012/12/11 Javascript
jquery struts 验证唯一标识(公用方法)
2013/03/27 Javascript
分析Node.js connect ECONNREFUSED错误
2013/04/09 Javascript
javascript 模拟坦克大战游戏(html5版)附源码下载
2014/04/08 Javascript
js 设置缓存及获取设置的缓存
2014/05/08 Javascript
常用的jquery模板插件——jQuery Boilerplate介绍
2014/09/23 Javascript
jquery使用Cookie和JSON记录用户最近浏览历史
2016/04/19 Javascript
深入理解js数组的sort排序
2016/05/28 Javascript
微信小程序 WXML、WXSS 和JS介绍及详解
2016/10/08 Javascript
jQuery autoComplete插件两种使用方式及动态改变参数值的方法详解
2016/10/24 Javascript
用vue构建多页面应用的示例代码
2017/09/20 Javascript
nodejs操作mongodb的增删改查功能实例
2017/11/09 NodeJs
详解ES6 Promise对象then方法链式调用
2018/10/20 Javascript
微信小程序实现留言板(Storage)
2018/11/02 Javascript
nodejs基础之常用工具模块util用法分析
2018/12/26 NodeJs
C#程序员入门学习微信小程序的笔记
2019/03/05 Javascript
Vue实现固定定位图标滑动隐藏效果
2019/05/30 Javascript
vue-week-picker实现支持按周切换的日历
2019/06/26 Javascript
uniapp微信小程序:key失效的解决方法
2021/01/20 Javascript
Python环境下搭建属于自己的pip源的教程
2016/05/05 Python
Tensorflow环境搭建的方法步骤
2018/02/07 Python
Django项目中model的数据处理以及页面交互方法
2018/05/30 Python
解决python脚本中error: unrecognized arguments: True错误
2020/04/20 Python
一个入门级python爬虫教程详解
2021/01/27 Python
Madewell澳大利亚官方网站:美国休闲服饰品牌
2019/07/18 全球购物
毕业生毕业总结的自我评价范文
2013/11/02 职场文书
机电专业大学生职业规划书范文
2014/02/25 职场文书
王老吉广告词
2014/03/20 职场文书
小学模范班主任事迹材料
2014/05/13 职场文书
2015年爱国卫生工作总结
2015/04/22 职场文书
大学运动会加油稿
2015/07/22 职场文书
中小学教师继续教育心得体会
2016/01/19 职场文书
一篇文章带你搞懂Python类的相关知识
2021/05/20 Python
JS前端canvas交互实现拖拽旋转及缩放示例
2022/08/05 Javascript