python爬取酷狗音乐排行榜


Posted in Python onFebruary 20, 2019

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下

#coding=utf-8
from pymongo import MongoClient
import time 
import requests 
from lxml import etree 
 
client = MongoClient()      #连接mongo
hello = client.hello       #连接数据库
user = hello.song         #连接表
 
headers = { 
  'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} 
 
def get_info(url): 
  '''
  get源码,encode,解析,xpath,保存 
  '''
  response = requests.get(url, headers=headers) 
  response = response.text.encode('utf-8') 
  selector = etree.HTML(response) 
  soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') 
 
  #保存到本地
  # with open('aa.txt','a') as f:
    # for i in soup:
      # f.write(i.encode('utf-8') + '\n')
 
  #存入数据库
  for i in soup:
    user.insert({'song': i})
 
if __name__ == '__main__': 
  urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] 
  for url in urls: 
    print(url) 
    get_info(url)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python时区设置方法与pytz查询时区教程
Nov 27 Python
pygame学习笔记(1):矩形、圆型画图实例
Apr 15 Python
python开发中range()函数用法实例分析
Nov 12 Python
使用python遍历指定城市的一周气温
Mar 31 Python
Python代码实现KNN算法
Dec 20 Python
python命令行解析之parse_known_args()函数和parse_args()使用区别介绍
Jan 24 Python
Numpy中转置transpose、T和swapaxes的实例讲解
Apr 17 Python
Python判断以什么结尾以什么开头的实例
Oct 27 Python
浅谈python requests 的put, post 请求参数的问题
Jan 02 Python
如何利用python给图片添加半透明水印
Sep 06 Python
完美解决TensorFlow和Keras大数据量内存溢出的问题
Jul 03 Python
Python Django ORM连表正反操作技巧
Jun 13 Python
python 定时器,轮询定时器的实例
Feb 20 #Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 #Python
python爬取内容存入Excel实例
Feb 20 #Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
You might like
怎样在UNIX系统下安装php3
2006/10/09 PHP
PHP MemCached高级缓存配置图文教程
2010/08/05 PHP
PHP排序之二维数组的按照字母排序实现代码
2011/08/13 PHP
解析PHP无限级分类方法及代码
2013/06/21 PHP
PHP使用CURL模拟登录的方法
2015/07/08 PHP
js 数值项目的格式化函数代码
2010/05/14 Javascript
javascript loadScript异步加载脚本示例讲解
2013/11/14 Javascript
jquery检测input checked 控件是否被选中的方法
2014/03/26 Javascript
jQuery无刷新上传之uploadify3.1简单使用
2016/06/18 Javascript
Jquery表单验证失败后不提交的解决方法
2016/10/18 Javascript
Vue组件通信实践记录(推荐)
2017/08/15 Javascript
微信小程序开发之IOS和Android兼容的问题
2017/09/26 Javascript
使用Vue.js和Element-UI做一个简单登录页面的实例
2018/02/23 Javascript
vue-cli脚手架build目录下utils.js工具配置文件详解
2018/09/14 Javascript
详解原生JS回到顶部
2019/03/25 Javascript
解析原来浏览器原生支持JS Base64编码解码
2019/08/12 Javascript
原生js实现无缝轮播图
2020/01/11 Javascript
JS使用正则表达式实现常用的表单验证功能分析
2020/04/30 Javascript
vue实现放大镜效果
2020/09/17 Javascript
原生js生成图片验证码
2020/10/11 Javascript
Python 获取新浪微博的最新公共微博实例分享
2014/07/03 Python
Python使用chardet判断字符编码
2015/05/09 Python
Python函数中的函数(闭包)用法实例
2016/03/15 Python
Python实现将Excel转换为json的方法示例
2017/08/05 Python
解决python3中os.popen()出错的问题
2020/11/19 Python
HTML5 b和i标记将被赋予真正的语义
2009/07/16 HTML / CSS
Fossil加拿大官网:化石手表、手袋、首饰及配饰
2019/04/23 全球购物
护士自我评价
2014/02/01 职场文书
技术岗位竞聘演讲稿
2014/05/16 职场文书
2014年村支部书记四风对照检查材料思想汇报
2014/10/02 职场文书
基层党员学习党的群众路线教育实践活动心得体会
2014/11/04 职场文书
2014年电话客服工作总结
2014/12/09 职场文书
毕业生学校组织意见
2015/06/04 职场文书
详解Vue router路由
2021/11/20 Vue.js
HTML+JS实现在线朗读器
2022/02/15 Javascript
JavaScript实现酷炫的鼠标拖尾特效
2022/02/18 Javascript