Python实现提取谷歌音乐搜索结果的方法


Posted in Python onJuly 10, 2015

本文实例讲述了Python实现提取谷歌音乐搜索结果的方法。分享给大家供大家参考。具体如下:

Python的简单脚本,用于提取谷歌音乐搜索页面中的歌曲信息,包括歌曲名,作者,专辑名,现在链接等,最多只提取10页结果。

#! /usr/bin/env python
#coding=utf-8
'''
Created on 2011-8-19
@author: yaoboyuan
'''
from urllib import request,parse
import re,sys
def extractSongRawData(text):
  '抓取每一首歌的原始数据'
  text = re.sub('\n+','',text)
  songList = re.findall('\<tbody.*?\</tbody>',text)
  nums = len(songList)
  print('search ' + str(nums) + ' songs')
  return songList
def translate(text):
  '去掉text中的无用字符,转换unicode码'
  text = re.sub('\<b>','',text)
  text = re.sub('\</b>','',text)
  #find the 成 and translate into chinese
  s = re.findall('&#([0-9]+);',text)
  if len(s)<=0:
    return text
  else:
    text = ''
    for i in range(len(s)):
      value = int(s[i],10) #from str'123' to 10 base's int 124
      text += chr(value)  #from value to char
    return text
def extractSongName(song):
  '提取歌曲名字'
  td = re.findall('(?:\<td class\="Title).*(?:\</td>)',song)
  name = re.findall('.+?\<a.+?>(.*?)\</a>',td[0])
  songName = translate(name[0])
  return songName
def extractAuthorName(song):
  '提取作者名字'
  td = re.findall('(?:\<td class\="Artist).*(?:\</td>)',song)
  name = re.findall('.+?\<a.+?>(.*?)\</a>',td[0])
  authorName = name[0]
  authorName = translate(authorName)
  return authorName
def extrackAlbumName(song):
  '提取专辑名字'
  td = re.findall('(?:\<td class\="Album).*(?:\</td>)',song)
  name = re.findall('.+?\<a.+?>(.*?)\</a>',td[0])
  albumName = translate(name[0])
  return albumName
def extractID(song):
  '提取歌曲id'
  td = re.findall('''\<tbody id\="([a-zA-Z0-9]+)"''',song)
  if len(td)>0:
    return td[0]
  else:
    return song
def extractLink(song):
  '提取歌曲下载链接'
  td = re.findall('''\<td class\="Icon.*?(?=title\="下载").*?onclick\="(.*?)>''',song)
  if len(td) == 0:
    return 'NULL'
  s = str(td[0])
  rawLink = re.findall('http.*?(?=\?)',s)
  if len(rawLink) == 0:
    return s
  link = rawLink[0]
  link = re.sub('%3D','=',link)
  id = extractID(song)
  return link + '?id=' + id
def extractPageNums(text):
  '提取返回结果的页数,最多要10页'
  pageList = re.findall('page_link',text)
  return len(pageList)
def extractSongInfo(song):
  '提取歌曲信息,返回歌曲列表'
  songList = []
  for i in range(len(song)):
    songName = extractSongName(song[i])
    authorName = extractAuthorName(song[i])
    albumName = extrackAlbumName(song[i])
    link = extractLink(song[i])
    songItem = [songName,authorName,albumName,link]
    songList.append(songItem)
    index = ''
    if i<9:
      index = '0' + str(i+1)
    else:
      index = str(i + 1)
    #print(index + ' ' + songName + ' ' + authorName + ' ' + albumName + ' ' + link)
  return songList
def main():
  while True:
    url = 'http://www.google.cn/music/search?q='
    key = input('请输入歌曲名字或关键字:')
    key = parse.quote(key) #统一编码成utf-8
    url += key
    mf = request.urlopen(url)
    c = mf.readall()
    c = str(c,encoding = 'utf-8')
    num = extractPageNums(c)
    print(str(num+1) + ' pages found')
    song = extractSongRawData(c)
    songList = extractSongInfo(song)
    #if the result great than 2 pages, then request all pages
    if num>0:
      for i in range(num):
        start = (i+1)*20
        next_page = '&cat=song&start=%d'%(start)
        #next_page = parse.quote(next_page) #统一编码成utf-8
        url += next_page
        mf = request.urlopen(url)
        c = mf.readall()
        c = str(c,encoding = 'utf-8')
        song = extractSongRawData(c)
        songList += extractSongInfo(song) #find all results
    for i in range(len(songList)): #print the result
      index = ''
      if i<9:
        index = '0' + str(i+1)
      else:
        index = str(i + 1)
      print(index + ' ' + str(songList[i]))
if __name__ == '__main__':
  main()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
零基础写python爬虫之爬虫编写全记录
Nov 06 Python
Python排序搜索基本算法之归并排序实例分析
Dec 08 Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
May 21 Python
Django 浅谈根据配置生成SQL语句的问题
May 29 Python
pytorch索引查找 index_select的例子
Aug 18 Python
python中bytes和str类型的区别
Oct 21 Python
python飞机大战 pygame游戏创建快速入门详解
Dec 17 Python
对tensorflow中cifar-10文档的Read操作详解
Feb 10 Python
Python3+selenium实现cookie免密登录的示例代码
Mar 18 Python
最新Python idle下载、安装与使用教程图文详解
Nov 28 Python
Python OpenCV 图像平移的实现示例
Jun 04 Python
解析python中的jsonpath 提取器
Jan 18 Python
python和bash统计CPU利用率的方法
Jul 10 #Python
Python多线程下载文件的方法
Jul 10 #Python
Python爬取国外天气预报网站的方法
Jul 10 #Python
Python实现比较两个文件夹中代码变化的方法
Jul 10 #Python
python简单文本处理的方法
Jul 10 #Python
Python实现把json格式转换成文本或sql文件
Jul 10 #Python
Python中的一些陷阱与技巧小结
Jul 10 #Python
You might like
PHP的curl实现get,post和cookie(实例介绍)
2013/06/17 PHP
Thinkphp模板标签if和eq的区别和比较实例分析
2015/07/01 PHP
调试WordPress中定时任务的相关PHP脚本示例
2015/12/10 PHP
php实现爬取和分析知乎用户数据
2016/01/26 PHP
php实现的mysqldb读写分离操作类示例
2017/02/07 PHP
浅谈Yii乐观锁的使用及原理
2017/07/25 PHP
Span元素的width属性无效果原因及解决方案
2010/01/15 Javascript
ajax的hide隐藏问题解决方法
2012/12/11 Javascript
javascript设置金额样式转换保留两位小数示例代码
2013/12/04 Javascript
javascript 实现子父窗体互相传值的简单实例
2014/02/17 Javascript
JavaScript 事件绑定及深入
2015/04/13 Javascript
cocos2dx骨骼动画Armature源码剖析(一)
2015/09/08 Javascript
微信小程序 form组件详解及简单实例
2017/01/10 Javascript
BootStrap fileinput.js文件上传组件实例代码
2017/02/20 Javascript
常见的浏览器Hack技巧整理
2017/06/29 Javascript
基于react后端渲染模板引擎noox发布使用
2018/01/11 Javascript
分享5个顶级的JavaScript Ajax组件库
2018/09/16 Javascript
Vue 实现前进刷新后退不刷新的效果
2019/06/14 Javascript
jQuery 实现扁平式小清新导航
2020/07/07 jQuery
从0到1学习JavaScript编写贪吃蛇游戏
2020/07/28 Javascript
[05:31]DOTA2上海特级锦标赛主赛事第三日RECAP
2016/03/05 DOTA
使用python的chardet库获得文件编码并修改编码
2014/01/22 Python
python 实现return返回多个值
2019/11/19 Python
Pycharm插件(Grep Console)自定义规则输出颜色日志的方法
2020/05/27 Python
详解python对象之间的交互
2020/09/29 Python
python各种excel写入方式的速度对比
2020/11/10 Python
python re的findall和finditer的区别详解
2020/11/15 Python
JACK & JONES瑞典官方网站:杰克琼斯欧式风格男装
2017/12/23 全球购物
德国在线订购鲜花:Fleurop
2018/08/25 全球购物
PHP如何去执行一个SQL语句
2016/03/05 面试题
如何向接受结构参数的函数传入常数值
2016/02/17 面试题
初中生自我鉴定
2014/02/04 职场文书
父母对孩子的寄语
2014/04/09 职场文书
促销活动总结报告
2014/04/26 职场文书
幼儿发展评估方案
2014/06/11 职场文书
2015元旦主持词开场白和结束语
2014/12/14 职场文书