Python通过90行代码搭建一个音乐搜索工具


Posted in Python onJuly 29, 2015

下面小编把具体实现代码给大家分享如下:

之前一段时间读到了这篇博客,其中描述了作者如何用java实现国外著名音乐搜索工具shazam的基本功能。其中所提到的文章又将我引向了关于shazam的一篇论文及另外一篇博客。读完之后发现其中的原理并不十分复杂,但是方法对噪音的健壮性却非常好,出于好奇决定自己用python自己实现了一个简单的音乐搜索工具—— Song Finder, 它的核心功能被封装在SFEngine 中,第三方依赖方面只使用到了 scipy。

工具demo
这个demo在ipython下展示工具的使用,本项目名称为Song Finder,我把索引、搜索的功能全部封装在Song Finder中的SFEngine中。首先是简单的准备工作:

In [1]: from SFEngine import *
In [2]: engine = SFEngine()

在这之后我们对现有歌曲进行索引,我在original目录下准备了几十首歌曲(.wav文件)作为曲库:
In [3]: engine.index('original') # 索引该目录下的所有歌曲

在完成索引之后我们向Song Finder提交一段有背景噪音的歌曲录音进行搜索。对于这段《枫》在1分15秒左右的录音:

工具的返回结果是:

In [4]: engine.search('record/record0.wav')

original/周杰伦-枫 73

original/周杰伦-枫 31

original/周杰伦-枫 10

original/周杰伦-枫 28

original/我要快? - ??惠妹 28

其中展示的分别是歌曲名称及片段在歌曲中出现的位置(以秒计),可以看到工具正确找回了歌曲的曲名,也找到了其在歌曲中的正确位置。

而对于这段《童话》在1分05秒左右的背景噪音更加嘈杂的录音:

工具的返回结果是:

In [5]: engine.search('record/record8.wav')

original/光良 - 童话 67

original/光良 - 童话 39

original/光良 - 童话 33

original/光良 - 童话 135

original/光良 - 童话 69

可以看到尽管噪音非常嘈杂,但是工具仍然能成功识别所对应的歌曲并对应到歌曲的正确位置,说明工具在噪音较大的环境下有良好的健壮性!

项目主页: Github

Song Finder原理
给定曲库对一个录音片段进行检索是一个不折不扣的搜索问题,但是对音频的搜索并不像对文档、数据的搜索那么直接。为了完成对音乐的搜索,工具需要完成下列3个任务:

对曲库中的所有歌曲抽取特征
以相同的方式对录音片段提取特征
根据录音片段的特征对曲库进行搜索,返回最相似的歌曲及其在歌曲中的位置
特征提取?离散傅立叶变换!
为了对音乐(音频)提取特征,一个很直接的想法是得到音乐的音高的信息,而音高在物理上对应的则又是波的频率信息。为了获取这类信息,一个非常直接的额做法是使用离散傅叶变化对声音进行分析,即使用一个滑动窗口对声音进行采样,对窗口内的数据进行离散傅立叶变化,将时间域上的信息变换为频率域上的信息,使用scipy的接口可以很轻松的完成。在这之后我们将频率分段,提取每频率中振幅最大的频率:

def extract_feature(self, scaled, start, interval):

    end = start + interval

    dst = fft(scaled[start: end]) 

    length = len(dst)/2  

    normalized = abs(dst[:(length-1)])

    feature = [ normalized[:50].argmax(), \

                50 +  normalized[50:100].argmax(), \

                100 + normalized[100:200].argmax(), \

                200 + normalized[200:300].argmax(), \

                300 + normalized[300:400].argmax(), \

                400 + normalized[400:].argmax()]

    return feature

这样,对于一个滑动窗口,我提取到了6个频率作为其特征。对于整段音频,我们重复调用这个函数进行特征抽取:

def sample(self, filename, start_second, duration = 5, callback = None):

 start = start_second * 44100
 if duration == 0:
  end = 1e15
 else:
  end = start + 44100 * duration
 interval = 8192
 scaled = self.read_and_scale(filename)
 length = scaled.size
 while start < min(length, end):
  feature = self.extract_feature(scaled, start, interval)
  if callback != None:
   callback(filename, start, feature)
  start += interval

其中44100为音频文件自身的采样频率,8192是我设定的取样窗口(对,这样hardcode是很不对的),callback是一个传入的函数,需要这个参数是因为在不同场景下对于所得到的特征会有不同的后续操作。

匹配曲库
在得到歌曲、录音的大量特征后,如何进行高效搜索是一个问题。一个有效的做法是建立一个特殊的哈希表,其中的key是频率,其对应的value是一系列(曲名,时间)的tuple,其记录的是某一歌曲在某一时间出现了某一特征频率,但是以频率为key而非以曲名或时间为key。

表格。。

这样做的好处是,当在录音中提取到某一个特征频率时,我们可以从这个哈希表中找出与该特征频率相关的歌曲及时间!

当然有了这个哈希表还不够用,我们不可能把所有与特征频率相关的歌曲都抽出来,看看谁命中的次数多,因为这样会完全无视歌曲的时序信息,并引入一些错误的匹配。

我们的做法是,对于录音中在t时间点的一个特征频率f,从曲库找出所有与f相关的(曲名,时间)tuple,例如我们得到了

[(s1, t1), (s2, t2), (s3, t3)]

我们使用时间进行对齐,得到这个列表
[(s1, t1-t), (s2, t2-t), (s3, t3-t)]

记为
[(s1, t1`), (s2, t2`), (s3, t3`)]

我们对所有时间点的所有特征频率均做上述操作,得到了一个大列表:
[(s1, t1`), (s2, t2`), (s3, t3`), ..., (sn, tn`)]

对这个列表进行计数,可以看到哪首歌曲的哪个时间点命中的次数最多,并将命中次数最多的(曲名,时间)对返回给用户。

不足
这个小工具是一个几个小时写成的hack,有许都地方需要改进,例如:

目前只支持了wav格式的曲库及录音
所有数据都放在内存中,曲库体积增大时需要引入更好的后端存储
索引应该并行化,匹配也应该并行化,匹配的模型其实是典型的map-reduce。

以上就是Python通过90行代码搭建音乐搜索工具,希望大家喜欢。

Python 相关文章推荐
python单线程实现多个定时器示例
Mar 30 Python
python类继承用法实例分析
Oct 10 Python
python的paramiko模块实现远程控制和传输示例
Oct 13 Python
PyTorch搭建一维线性回归模型(二)
May 22 Python
Python Django2.0集成Celery4.1教程
Nov 19 Python
Python交互环境下打印和输入函数的实例内容
Feb 16 Python
利用PyQt中的QThread类实现多线程
Feb 18 Python
python opencv实现图片缺陷检测(讲解直方图以及相关系数对比法)
Apr 07 Python
让Django的BooleanField支持字符串形式的输入方式
May 20 Python
python压包的概念及实例详解
Feb 17 Python
python套接字socket通信
Apr 01 Python
基于Python实现对比Exce的工具
Apr 07 Python
Python的迭代器和生成器
Jul 29 #Python
在Python程序中操作MySQL的基本方法
Jul 29 #Python
Python操作Word批量生成文章的方法
Jul 28 #Python
Python实现批量转换文件编码的方法
Jul 28 #Python
Python中subprocess的简单使用示例
Jul 28 #Python
Python中文竖排显示的方法
Jul 28 #Python
Python中的getopt函数使用详解
Jul 28 #Python
You might like
完美实现GIF动画缩略图的php代码
2011/01/02 PHP
PHP SEO优化之URL优化方法
2011/04/21 PHP
解析Win7 XAMPP apache无法启动的问题
2013/06/26 PHP
详解yii2实现分库分表的方案与思路
2017/02/03 PHP
PHP学习笔记之session
2018/05/06 PHP
用htc组件制作windows选项卡
2007/01/13 Javascript
动态控制Table的js代码
2007/03/07 Javascript
Javascript 判断函数类型完美解决方案
2009/09/02 Javascript
JavaScript 学习初步 入门教程
2010/03/25 Javascript
javascript中String类的subString()方法和slice()方法
2011/05/24 Javascript
jquery图片放大镜功能的实例代码
2013/03/26 Javascript
Javascript玩转继承(一)
2014/05/08 Javascript
js拆分字符串并将分割的数据放到数组中的方法
2015/05/06 Javascript
JS+CSS实现仿触屏手机拨号盘界面及功能模拟完整实例
2015/05/16 Javascript
chrome调试javascript详解
2015/10/21 Javascript
在javascript中随机数 math random如何生成指定范围数值的随机数
2015/10/21 Javascript
每天一篇javascript学习小结(String对象)
2015/11/18 Javascript
jquery的ajax提交form表单的两种方法小结(推荐)
2016/05/25 Javascript
JS中对Cookie的操作详解
2016/08/05 Javascript
JScript实现地址选择功能
2017/08/15 Javascript
详解Webpack实战之构建 Electron 应用
2017/12/25 Javascript
vuex分模块后,实现获取state的值
2020/07/26 Javascript
vue-cli3访问public文件夹静态资源报错的解决方式
2020/09/02 Javascript
vue监听键盘事件的相关总结
2021/01/29 Vue.js
Python实现子类调用父类的方法
2014/11/10 Python
Python递归遍历列表及输出的实现方法
2015/05/19 Python
Python进程间通信用法实例
2015/06/04 Python
python在控制台输出进度条的方法
2015/06/20 Python
用pycharm开发django项目示例代码
2018/10/24 Python
python 列表转为字典的两个小方法(小结)
2019/06/28 Python
加拿大快时尚零售商:Ardene
2018/02/14 全球购物
美国眼镜网站:LensCrafters
2020/01/19 全球购物
认错检讨书
2014/10/02 职场文书
请假条应该怎么写?
2019/06/24 职场文书
只用40行Python代码就能写出pdf转word小工具
2021/05/31 Python
Golang 对es的操作实例
2022/04/20 Golang