python利用不到一百行代码实现一个小siri


Posted in Python onMarch 02, 2017

前言

如果想要容易理解核心的特征计算的话建议先去看看我之前的听歌识曲的文章,传送门:https://3water.com/article/97305.htm

本文主要是实现了一个简单的命令词识别程序,算法核心一是提取音频特征,二是用DTW算法进行匹配。当然,这样的代码肯定不能用于商业化,大家做出来玩玩娱乐一下还是不错的。

设计思路

就算是个小东西,我们也要先明确思路再做。音频识别,困难不小,其中提取特征的难度在我听歌识曲那篇文章里能看得出来。而语音识别难度更大,因为音乐总是固定的,而人类说话常常是变化的。比如说一个“芝麻开门”,有的人就会说成“芝麻开门”,有的人会说成“芝麻开门”。而且在录音时说话的时间也不一样,可能很紧迫的一开始录音就说话了,也可能不紧不慢的快要录音结束了才把这四个字说出来。这样难度就大了。

算法流程:

python利用不到一百行代码实现一个小siri

特征提取

和之前的听歌识曲一样,同样是将一秒钟分成40块,对每一块进行傅里叶变换,然后取模长。只是这不像之前听歌识曲中进一步进行提取峰值,而是直接当做特征值。

看不懂我在说什么的朋友可以看看下面的源代码,或者看听歌识曲那篇文章。

DTW算法

DTW,Dynamic Time Warping,动态时间归整。算法解决的问题是将不同发音长短和位置进行最适合的匹配。

算法输入两组音频的特征向量: A:[fp1,fp2,fp3,......,fpM1] B:[fp1,fp2,fp3,fp4,.....fpM2]
A组共有M1个特征,B组共有M2个音频。每个特征向量中的元素就是之前我们将每秒切成40块之后FFT求模长的向量。计算每对fp之间的代价采用的是欧氏距离。

设D(fpa,fpb)为两个特征的距离代价。

那么我们可以画出下面这样的图

python利用不到一百行代码实现一个小siri 

我们需要从(1,1)点走到(M1,M2)点,这会有很多种走法,而每种走法就是一种两个音频位置匹配的方式。但我们的目标是走的总过程中代价最小,这样可以保证这种对齐方式是使我们得到最接近的对齐方式。

我们这样走:首先两个坐标轴上的各个点都是可以直接计算累加代价和求出的。然后对于中间的点来说D(i,j) = Min{D(i-1,j)+D(fpi,fpj) , D(i,j-1)+D(fpi,fpj) , D(i-1,j-1) + 2 * D(fpi,fpj)}

为什么由(i-1,j-1)直接走到(i,j)这个点需要加上两倍的代价呢?因为别人走正方形的两个直角边,它走的是正方形的对角线啊

按照这个原理选择,一直算到D(M1,M2),这就是两个音频的距离。

python利用不到一百行代码实现一个小siri 

python利用不到一百行代码实现一个小siri 

python利用不到一百行代码实现一个小siri 

源代码和注释

# coding=utf8
import os
import wave
import dtw
import numpy as np
import pyaudio

def compute_distance_vec(vec1, vec2):
 return np.linalg.norm(vec1 - vec2) #计算两个特征之间的欧氏距离

class record():
 def record(self, CHUNK=44100, FORMAT=pyaudio.paInt16, CHANNELS=2, RATE=44100, RECORD_SECONDS=200,
    WAVE_OUTPUT_FILENAME="record.wav"):
  #录歌方法
  p = pyaudio.PyAudio()
  stream = p.open(format=FORMAT,
      channels=CHANNELS,
      rate=RATE,
      input=True,
      frames_per_buffer=CHUNK)
  frames = []
  for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)):
   data = stream.read(CHUNK)
   frames.append(data)
  stream.stop_stream()
  stream.close()
  p.terminate()
  wf = wave.open(WAVE_OUTPUT_FILENAME, 'wb')
  wf.setnchannels(CHANNELS)
  wf.setsampwidth(p.get_sample_size(FORMAT))
  wf.setframerate(RATE)
  wf.writeframes(''.join(frames))
  wf.close()

class voice():
 def loaddata(self, filepath):
  try:
   f = wave.open(filepath, 'rb')
   params = f.getparams()
   self.nchannels, self.sampwidth, self.framerate, self.nframes = params[:4]
   str_data = f.readframes(self.nframes)
   self.wave_data = np.fromstring(str_data, dtype=np.short)
   self.wave_data.shape = -1, self.sampwidth
   self.wave_data = self.wave_data.T #存储歌曲原始数组
   f.close()
   self.name = os.path.basename(filepath) # 记录下文件名
   return True
  except:
   raise IOError, 'File Error'

 def fft(self, frames=40):
  self.fft_blocks = [] #将音频每秒分成40块,再对每块做傅里叶变换
  blocks_size = self.framerate / frames
  for i in xrange(0, len(self.wave_data[0]) - blocks_size, blocks_size):
   self.fft_blocks.append(np.abs(np.fft.fft(self.wave_data[0][i:i + blocks_size])))
 @staticmethod
 def play(filepath):
  chunk = 1024
  wf = wave.open(filepath, 'rb')
  p = pyaudio.PyAudio()
  # 播放音乐方法
  stream = p.open(format=p.get_format_from_width(wf.getsampwidth()),
      channels=wf.getnchannels(),
      rate=wf.getframerate(),
      output=True)
  while True:
   data = wf.readframes(chunk)
   if data == "": break
   stream.write(data)
  stream.close()
  p.terminate()
if __name__ == '__main__':
 r = record()
 r.record(RECORD_SECONDS=3, WAVE_OUTPUT_FILENAME='record.wav')
 v = voice()
 v.loaddata('record.wav')
 v.fft()
 file_list = os.listdir(os.getcwd())
 res = []
 for i in file_list:
  if i.split('.')[1] == 'wav' and i.split('.')[0] != 'record':
   temp = voice()
   temp.loaddata(i)
   temp.fft()
   res.append((dtw.dtw(v.fft_blocks, temp.fft_blocks, compute_distance_vec)[0],i))
 res.sort()
 print res
 if res[0][1].find('open_qq') != -1:
  os.system('C:\program\Tencent\QQ\Bin\QQScLauncher.exe') #我的QQ路径
 elif res[0][1].find('zhimakaimen') != -1:
  os.system('chrome.exe')#浏览器的路径,之前已经被添加到了Path中了
 elif res[0][1].find('play_music') != -1:
  voice.play('C:\data\music\\audio\\audio\\ (9).wav') #播放一段音乐
 # r = record()
 # r.record(RECORD_SECONDS=3,WAVE_OUTPUT_FILENAME='zhimakaimen_09.wav')

事先可以先用这里的record方法录制几段命令词,尝试用不同语气说,不同节奏说,这样可以提高准确度。然后设计好文件名,根据匹配到的最接近音频的文件名就可以知道是哪种命令,进而自定义执行不同的任务

这是一段演示视频:http://www.iqiyi.com/w_19ruisynsd.html

总结

以上就是这篇文章的全部内容,希望本文的内容对大家的学习或者使用python能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
python网络编程学习笔记(二):socket建立网络客户端
Jun 09 Python
python对url格式解析的方法
May 13 Python
使用Python对IP进行转换的一些操作技巧小结
Nov 09 Python
python中requests和https使用简单示例
Jan 18 Python
Python实现多级目录压缩与解压文件的方法
Sep 01 Python
python读取和保存图片5种方法对比
Sep 12 Python
python事件驱动event实现详解
Nov 21 Python
详解10个可以快速用Python进行数据分析的小技巧
Jun 24 Python
使用Python中的reduce()函数求积的实例
Jun 28 Python
Django 后台获取文件列表 InMemoryUploadedFile的例子
Aug 07 Python
python实现简单学生信息管理系统
Apr 09 Python
如何将Pycharm中调整字体大小的方式设置为"ctrl+鼠标滚轮上下滑"
Nov 17 Python
Python正则表达式教程之三:贪婪/非贪婪特性
Mar 02 #Python
Python正则表达式教程之二:捕获篇
Mar 02 #Python
Python正则表达式教程之一:基础篇
Mar 02 #Python
Python单例模式实例详解
Mar 01 #Python
python实现字典(dict)和字符串(string)的相互转换方法
Mar 01 #Python
python 截取 取出一部分的字符串方法
Mar 01 #Python
详解Python中的静态方法与类成员方法
Feb 28 #Python
You might like
PHP分页函数代码(简单实用型)
2010/12/02 PHP
PHP错误Warning: Cannot modify header information - headers already sent by解决方法
2014/09/27 PHP
php基于str_pad实现卡号不足位数自动补0的方法
2014/11/12 PHP
Laravel框架自定义分页样式操作示例
2020/01/26 PHP
关于hashchangebroker和statehashable的补充文档
2011/08/08 Javascript
Struts2的s:radio标签使用及用jquery添加change事件
2013/04/08 Javascript
Js参数值中含有单引号或双引号问题的解决方法
2013/11/06 Javascript
js简单的弹出框有关闭按钮
2014/05/05 Javascript
JavaScript里四舍五入函数round用法实例
2015/04/06 Javascript
js判断浏览器是否支持严格模式的方法
2016/10/04 Javascript
详解AngularJS controller调用factory
2017/05/19 Javascript
react-native-fs实现文件下载、文本存储的示例代码
2017/09/22 Javascript
原生JS获取元素的位置与尺寸实现方法
2017/10/18 Javascript
JS实现导出Excel的五种方法详解【附源码下载】
2018/03/15 Javascript
vue富文本编辑器组件vue-quill-edit使用教程
2018/09/21 Javascript
vue 设置 input 为不可以编辑的实现方法
2019/09/19 Javascript
关于better-scroll插件的无法滑动bug(2021通过插件解决)
2021/03/01 Javascript
python对DICOM图像的读取方法详解
2017/07/17 Python
Python字符串和字典相关操作的实例详解
2017/09/23 Python
Python中 map()函数的用法详解
2018/07/10 Python
python cs架构实现简单文件传输
2020/03/20 Python
python使用matplotlib画饼状图
2018/09/25 Python
使用PIL(Python-Imaging)反转图像的颜色方法
2019/01/24 Python
Python依赖包整体迁移方法详解
2019/08/15 Python
Python JSON编解码方式原理详解
2020/01/20 Python
Python安装whl文件过程图解
2020/02/18 Python
后勤部长岗位职责
2013/12/14 职场文书
《寓言两则》教学反思
2014/02/27 职场文书
感恩母亲节活动方案
2014/03/04 职场文书
学习决心书
2014/03/11 职场文书
党支部创先争优活动总结
2014/08/28 职场文书
2016自主招生校长推荐信范文
2015/03/23 职场文书
2015年置业顾问工作总结
2015/04/07 职场文书
关于antd tree 和父子组件之间的传值问题(react 总结)
2021/06/02 Javascript
解决pycharm下载库时出现Failed to install package的问题
2021/09/04 Python
如何解决goland,idea全局搜索快捷键失效问题
2022/04/03 Golang