python爬取酷狗音乐排行榜


Posted in Python onFebruary 20, 2019

本文为大家分享了python爬取酷狗音乐排行榜的具体代码,供大家参考,具体内容如下

#coding=utf-8
from pymongo import MongoClient
import time 
import requests 
from lxml import etree 
 
client = MongoClient()      #连接mongo
hello = client.hello       #连接数据库
user = hello.song         #连接表
 
headers = { 
  'User-Agent': 'Mozilla/5.0 (Android 6.0; Nexus 5 Build/MRA58N)\
  AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Mobile Safari/537.36'} 
 
def get_info(url): 
  '''
  get源码,encode,解析,xpath,保存 
  '''
  response = requests.get(url, headers=headers) 
  response = response.text.encode('utf-8') 
  selector = etree.HTML(response) 
  soup = selector.xpath('//*[@class="pc_temp_songlist "]/ul//li/a/text()') 
 
  #保存到本地
  # with open('aa.txt','a') as f:
    # for i in soup:
      # f.write(i.encode('utf-8') + '\n')
 
  #存入数据库
  for i in soup:
    user.insert({'song': i})
 
if __name__ == '__main__': 
  urls = ['http://www.kugou.com/yy/rank/home/{}-8888.html?from=rank'.format(str(i)) for i in range(1, 24)] 
  for url in urls: 
    print(url) 
    get_info(url)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python selenium文件上传方法汇总
Nov 19 Python
python编程实现12306的一个小爬虫实例
Dec 27 Python
python pandas时序处理相关功能详解
Jul 03 Python
python多线程扫描端口(线程池)
Sep 04 Python
python实现高斯判别分析算法的例子
Dec 09 Python
python3的UnicodeDecodeError解决方法
Dec 20 Python
flask框架url与重定向操作实例详解
Jan 25 Python
Tensorflow实现将标签变为one-hot形式
May 22 Python
Python爬虫爬取糗事百科段子实例分享
Jul 31 Python
Django自定义YamlField实现过程解析
Nov 11 Python
python3判断IP地址的方法
Mar 04 Python
python中sys模块的介绍与实例
Apr 17 Python
python 定时器,轮询定时器的实例
Feb 20 #Python
在Python中,不用while和for循环遍历列表的实例
Feb 20 #Python
python爬取内容存入Excel实例
Feb 20 #Python
Python和Go语言的区别总结
Feb 20 #Python
python整小时 整天时间戳获取算法示例
Feb 20 #Python
python 获取毫秒数,计算调用时长的方法
Feb 20 #Python
Python英文文本分词(无空格)模块wordninja的使用实例
Feb 20 #Python
You might like
星际争霸任务指南——人族
2020/03/04 星际争霸
phpExcel导出大量数据出现内存溢出错误的解决方法
2013/02/28 PHP
PHP删除数组中空值的方法介绍
2014/04/14 PHP
PHP内置过滤器FILTER使用实例
2014/06/25 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
PHP有序表查找之二分查找(折半查找)算法示例
2018/02/09 PHP
PHP封装的非对称加密RSA算法示例
2018/05/28 PHP
jquery photoFrame 图片边框美化显示插件
2010/06/28 Javascript
JQuery里面的几种选择器 查找满足条件的元素$("#控件ID")
2011/08/23 Javascript
Jquery为单选框checkbox绑定单击click事件
2012/12/18 Javascript
实例说明为什么不要行内使用javascript
2014/04/18 Javascript
12种JavaScript常用的MVC框架比较分析
2015/11/16 Javascript
js实现图片旋转 js滚动鼠标中间对图片放大缩小
2017/07/05 Javascript
JS实现普通轮播图特效
2020/01/01 Javascript
JS+CSS实现炫酷光感效果
2020/09/05 Javascript
node koa2 ssr项目搭建的方法步骤
2020/12/11 Javascript
使用Python判断IP地址合法性的方法实例
2014/03/13 Python
Python中的Numpy入门教程
2014/04/26 Python
Python中Continue语句的用法的举例详解
2015/05/14 Python
基于Python 的进程管理工具supervisor使用指南
2016/09/18 Python
python的exec、eval使用分析
2017/12/11 Python
python变量命名的7条建议
2019/07/04 Python
numpy中三维数组中加入元素后的位置详解
2019/11/28 Python
python em算法的实现
2020/10/03 Python
Fashion Eyewear美国:英国线上设计师眼镜和太阳镜的零售商
2016/08/15 全球购物
英国打印机墨盒销售网站:Ink Factory
2019/10/07 全球购物
美国婴儿和儿童服装购物网站:PatPat
2020/10/01 全球购物
职业培训师职业生涯规划
2014/02/18 职场文书
学习交流会主持词
2014/04/01 职场文书
网站客服岗位职责
2014/04/05 职场文书
二年级学生评语大全
2014/04/23 职场文书
2015年体育教学工作总结
2015/05/20 职场文书
2015年体检中心工作总结
2015/05/27 职场文书
vue.js Router中嵌套路由的实用示例
2021/06/27 Vue.js
python机器学习创建基于规则聊天机器人过程示例详解
2021/11/02 Python
Win11怎样将锁屏账户头像图片改成动画视频
2021/11/21 数码科技