python爬取酷狗音乐排行榜


Posted in Python onFebruary 20, 2019

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下

#coding=utf-8
from pymongo import MongoClient
import time 
import requests 
from lxml import etree 
 
client = MongoClient()      #连接mongo
hello = client.hello       #连接数据库
user = hello.song         #连接表
 
headers = { 
  'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} 
 
def get_info(url): 
  '''
  get源码,encode,解析,xpath,保存 
  '''
  response = requests.get(url, headers=headers) 
  response = response.text.encode('utf-8') 
  selector = etree.HTML(response) 
  soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') 
 
  #保存到本地
  # with open('aa.txt','a') as f:
    # for i in soup:
      # f.write(i.encode('utf-8') + '\n')
 
  #存入数据库
  for i in soup:
    user.insert({'song': i})
 
if __name__ == '__main__': 
  urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] 
  for url in urls: 
    print(url) 
    get_info(url)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
2款Python内存检测工具介绍和使用方法
Jun 01 Python
Python中的一些陷阱与技巧小结
Jul 10 Python
在Django的视图中使用form对象的方法
Jul 18 Python
使用Python编写一个最基础的代码解释器的要点解析
Jul 12 Python
Python文件与文件夹常见基本操作总结
Sep 19 Python
解决Python获取字典dict中不存在的值时出错问题
Oct 17 Python
Python 面试中 8 个必考问题
Nov 16 Python
pandas read_excel()和to_excel()函数解析
Sep 19 Python
python安装gdal的两种方法
Oct 29 Python
python 实现return返回多个值
Nov 19 Python
python获取array中指定元素的示例
Nov 26 Python
Python 中@property的用法详解
Jan 15 Python
python 定时器,轮询定时器的实例
Feb 20 #Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 #Python
python爬取内容存入Excel实例
Feb 20 #Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
You might like
基于PHP CURL获取邮箱地址的详解
2013/06/03 PHP
PHP制作图形验证码代码分享
2014/10/23 PHP
33道php常见面试题及答案
2015/07/06 PHP
php邮箱地址正则表达式验证
2015/11/13 PHP
jquery的$getjson调用并获取远程的JSON字符串问题
2012/12/10 Javascript
javascript实现动态导入js与css等静态资源文件的方法
2015/07/25 Javascript
jQuery侧边栏实现代码
2016/05/06 Javascript
AngularJS入门教程之 XMLHttpRequest实例讲解
2016/07/27 Javascript
AngularJs 动态加载模块和依赖
2016/09/15 Javascript
js复制内容到剪贴板代码,js复制代码的简单实例
2016/10/27 Javascript
基于Vue的侧边目录组件的实现
2020/02/05 Javascript
taro 实现购物车逻辑的实例代码
2020/06/05 Javascript
使用nodejs实现JSON文件自动转Excel的工具(推荐)
2020/06/24 NodeJs
使用python提取html文件中的特定数据的实现代码
2013/03/24 Python
python scp 批量同步文件的实现方法
2019/01/03 Python
python调用c++传递数组的实例
2019/02/13 Python
new_zeros() pytorch版本的转换方式
2020/02/18 Python
Python实例方法、类方法、静态方法区别详解
2020/09/05 Python
 Alo Yoga官网:购买瑜伽服装
2018/06/17 全球购物
Top Villas美国:豪华别墅出租和度假屋
2018/07/10 全球购物
康帕斯酒店预订:Compass Hospitality(支持中文)
2018/08/23 全球购物
世界上最好的旅行夹克:BauBax
2018/12/23 全球购物
市场营销专业毕业生自荐信
2013/11/02 职场文书
违反校纪校规检讨书
2014/02/15 职场文书
商务英语专业求职信
2014/06/26 职场文书
学生检讨书怎么写
2014/10/09 职场文书
离婚协议书范本
2015/01/26 职场文书
寒山寺导游词
2015/02/03 职场文书
财务负责人岗位职责
2015/02/03 职场文书
销售合作意向书范本
2015/05/08 职场文书
医学生自荐信范文(2016精选篇)
2016/01/28 职场文书
2016年全国助残日活动总结
2016/04/01 职场文书
详解Nginx 工作原理
2021/03/31 Servers
MATLAB 全景图切割及盒图显示的实现步骤
2021/05/14 Python
css实现两栏布局,左侧固定宽,右侧自适应的多种方法
2021/08/07 HTML / CSS
Python使用DFA算法过滤内容敏感词
2022/04/22 Python