Python实现语音识别和语音合成功能


Posted in Python onSeptember 20, 2019

声音的本质是震动,震动的本质是位移关于时间的函数,波形文件(.wav)中记录了不同采样时刻的位移。

通过傅里叶变换,可以将时间域的声音函数分解为一系列不同频率的正弦函数的叠加,通过频率谱线的特殊分布,建立音频内容和文本的对应关系,以此作为模型训练的基础。

案例:画出语音信号的波形和频率分布,(freq.wav数据地址)

# -*- encoding:utf-8 -*-
import numpy as np
import numpy.fft as nf
import scipy.io.wavfile as wf
import matplotlib.pyplot as plt
sample_rate, sigs = wf.read('../machine_learning_date/freq.wav')
print(sample_rate)   # 8000采样率
print(sigs.shape)  # (3251,)
sigs = sigs / (2 ** 15) # 归一化
times = np.arange(len(sigs)) / sample_rate
freqs = nf.fftfreq(sigs.size, 1 / sample_rate)
ffts = nf.fft(sigs)
pows = np.abs(ffts)
plt.figure('Audio')
plt.subplot(121)
plt.title('Time Domain')
plt.xlabel('Time', fontsize=12)
plt.ylabel('Signal', fontsize=12)
plt.tick_params(labelsize=10)
plt.grid(linestyle=':')
plt.plot(times, sigs, c='dodgerblue', label='Signal')
plt.legend()
plt.subplot(122)
plt.title('Frequency Domain')
plt.xlabel('Frequency', fontsize=12)
plt.ylabel('Power', fontsize=12)
plt.tick_params(labelsize=10)
plt.grid(linestyle=':')
plt.plot(freqs[freqs >= 0], pows[freqs >= 0], c='orangered', label='Power')
plt.legend()
plt.tight_layout()
plt.show()

Python实现语音识别和语音合成功能

语音识别

梅尔频率倒谱系数(MFCC)通过与声音内容密切相关的13个特殊频率所对应的能量分布,可以使用梅尔频率倒谱系数矩阵作为语音识别的特征。基于隐马尔科夫模型进行模式识别,找到测试样本最匹配的声音模型,从而识别语音内容。

MFCC

梅尔频率倒谱系数相关API:

import scipy.io.wavfile as wf
import python_speech_features as sf
sample_rate, sigs = wf.read('../data/freq.wav')
mfcc = sf.mfcc(sigs, sample_rate)

案例:画出MFCC矩阵:

python -m pip install python_speech_features
import scipy.io.wavfile as wf
import python_speech_features as sf
import matplotlib.pyplot as mp
sample_rate, sigs = wf.read(
  '../ml_data/speeches/training/banana/banana01.wav')
mfcc = sf.mfcc(sigs, sample_rate)
mp.matshow(mfcc.T, cmap='gist_rainbow')
mp.show()

Python实现语音识别和语音合成功能

隐马尔科夫模型

隐马尔科夫模型相关API:

import hmmlearn.hmm as hl
model = hl.GaussianHMM(n_components=4, covariance_type='diag', n_iter=1000)
# n_components: 用几个高斯分布函数拟合样本数据
# covariance_type: 相关矩阵的辅对角线进行相关性比较
# n_iter: 最大迭代上限
model.fit(mfccs) # 使用模型匹配测试mfcc矩阵的分值 score = model.score(test_mfccs)

案例:训练training文件夹下的音频,对testing文件夹下的音频文件做分类

1、读取training文件夹中的训练音频样本,每个音频对应一个mfcc矩阵,每个mfcc都有一个类别(apple)。

2、把所有类别为apple的mfcc合并在一起,形成训练集。

| mfcc |

    |

| mfcc | apple |

| mfcc |

    |

.....

由上述训练集样本可以训练一个用于匹配apple的HMM。

3、训练7个HMM分别对应每个水果类别。 保存在列表中。

4、读取testing文件夹中的测试样本,整理测试样本

| mfcc | apple |

| mfcc | lime   |

5、针对每一个测试样本:

1、分别使用7个HMM模型,对测试样本计算score得分。

2、取7个模型中得分最高的模型所属类别作为预测类别。

import os
import numpy as np
import scipy.io.wavfile as wf
import python_speech_features as sf
import hmmlearn.hmm as hl
​
#1. 读取training文件夹中的训练音频样本,每个音频对应一个mfcc矩阵,每个mfcc都有一个类别(apple)。
def search_file(directory):
  # 使传过来的directory匹配当前操作系统
  # {'apple':[url, url, url ... ], 'banana':[...]}  
  directory = os.path.normpath(directory)
  objects = {}
  # curdir:当前目录 
  # subdirs: 当前目录下的所有子目录
  # files: 当前目录下的所有文件名
  for curdir, subdirs, files in os.walk(directory):
    for file in files:
      if file.endswith('.wav'):
        label = curdir.split(os.path.sep)[-1]
        if label not in objects:
          objects[label] = []
        # 把路径添加到label对应的列表中
        path = os.path.join(curdir, file)
        objects[label].append(path)
  return objects
​
#读取训练集数据
train_samples = \
  search_file('../ml_data/speeches/training')
​
'''

2. 把所有类别为apple的mfcc合并在一起,形成训练集。

| mfcc |    |
  | mfcc | apple |
  | mfcc |    |
  .....
  由上述训练集样本可以训练一个用于匹配apple的HMM。
'''
train_x, train_y = [], []
# 遍历7次 apple/banana/...
for label, filenames in train_samples.items():
  mfccs = np.array([])
  for filename in filenames:
    sample_rate, sigs = wf.read(filename)
    mfcc = sf.mfcc(sigs, sample_rate)
    if len(mfccs)==0:
      mfccs = mfcc
    else:
      mfccs = np.append(mfccs, mfcc, axis=0)
  train_x.append(mfccs)
  train_y.append(label)
'''
训练集:
  train_x train_y
  ----------------
  | mfcc |    |
  | mfcc | apple |
  | mfcc |    |
  ----------------
  | mfcc |    |
  | mfcc | banana |
  | mfcc |    |
  -----------------
  | mfcc |    |
  | mfcc | lime  |
  | mfcc |    |
  -----------------
'''
# {'apple':object, 'banana':object ...}
models = {}
for mfccs, label in zip(train_x, train_y):
  model = hl.GaussianHMM(n_components=4, 
    covariance_type='diag', n_iter=1000)
  models[label] = model.fit(mfccs)
'''

4. 读取testing文件夹中的测试样本,针对每一个测试样本:

   1. 分别使用7个HMM模型,对测试样本计算score得分。

   2. 取7个模型中得分最高的模型所属类别作为预测类别。

'''
#读取测试集数据
test_samples = \
  search_file('../ml_data/speeches/testing')
​
test_x, test_y = [], []
for label, filenames in test_samples.items():
  mfccs = np.array([])
  for filename in filenames:
    sample_rate, sigs = wf.read(filename)
    mfcc = sf.mfcc(sigs, sample_rate)
    if len(mfccs)==0:
      mfccs = mfcc
    else:
      mfccs = np.append(mfccs, mfcc, axis=0)
  test_x.append(mfccs)
  test_y.append(label)
​
'''测试集:
  test_x test_y
  -----------------
  | mfcc | apple |
  -----------------
  | mfcc | banana |
  -----------------
  | mfcc | lime  |
  -----------------
'''
pred_test_y = []
for mfccs in test_x:
# 判断mfccs与哪一个HMM模型更加匹配
best_score, best_label = None, None
for label, model in models.items():
score = model.score(mfccs)
if (best_score is None) or (best_score<score):
best_score = score
best_label = label
pred_test_y.append(best_label)
​
print(test_y)
print(pred_test_y)

声音合成

根据需求获取某个声音的模型频域数据,根据业务需要可以修改模型数据,逆向生成时域数据,完成声音的合成。

案例:

import json
import numpy as np
import scipy.io.wavfile as wf
with open('../data/12.json', 'r') as f:
  freqs = json.loads(f.read())
tones = [
  ('G5', 1.5),
  ('A5', 0.5),
  ('G5', 1.5),
  ('E5', 0.5),
  ('D5', 0.5),
  ('E5', 0.25),
  ('D5', 0.25),
  ('C5', 0.5),
  ('A4', 0.5),
  ('C5', 0.75)]
sample_rate = 44100
music = np.empty(shape=1)
for tone, duration in tones:
  times = np.linspace(0, duration, duration * sample_rate)
  sound = np.sin(2 * np.pi * freqs[tone] * times)
  music = np.append(music, sound)
music *= 2 ** 15
music = music.astype(np.int16)
wf.write('../data/music.wav', sample_rate, music)

总结

以上所述是小编给大家介绍的Python实现语音识别和语音合成功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python多线程编程(一):threading模块综述
Apr 05 Python
flask中过滤器的使用详解
Aug 01 Python
python读取目录下所有的jpg文件,并显示第一张图片的示例
Jun 13 Python
python创建子类的方法分析
Nov 28 Python
Python面向对象程序设计之私有变量,私有方法原理与用法分析
Mar 23 Python
Python通过kerberos安全认证操作kafka方式
Jun 06 Python
使用Pycharm在运行过程中,查看每个变量的操作(show variables)
Jun 08 Python
Python实现树莓派摄像头持续录像并传送到主机的步骤
Nov 30 Python
python基于opencv实现人脸识别
Jan 04 Python
python画图时设置分辨率和画布大小的实现(plt.figure())
Jan 08 Python
Python日志打印里logging.getLogger源码分析详解
Jan 17 Python
Pytorch数据读取之Dataset和DataLoader知识总结
May 23 Python
使用python将最新的测试报告以附件的形式发到指定邮箱
Sep 20 #Python
Python使用__new__()方法为对象分配内存及返回对象的引用示例
Sep 20 #Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 #Python
Python 类属性与实例属性,类对象与实例对象用法分析
Sep 20 #Python
使用python脚本自动创建pip.ini配置文件代码实例
Sep 20 #Python
使用Python给头像戴上圣诞帽的图像操作过程解析
Sep 20 #Python
Python 函数用法简单示例【定义、参数、返回值、函数嵌套】
Sep 20 #Python
You might like
php+xml实现在线英文词典查询的方法
2015/01/23 PHP
经典PHP加密解密函数Authcode()修复版代码
2015/04/05 PHP
使用PHP生成二维码的方法汇总
2015/07/22 PHP
yii权限控制的方法(三种方法)
2015/12/28 PHP
PHP检测链接是否存在的代码实例分享
2016/05/06 PHP
将PHP的session数据存储到数据库中的代码实例
2016/06/24 PHP
PHP数组的定义、初始化和数组元素的显示实现代码
2016/11/05 PHP
一个高效的JavaScript压缩工具下载集合
2007/03/06 Javascript
使用jQuery模板来展现json数据的代码
2010/10/22 Javascript
jQuery选择器源码解读(八):addCombinator函数
2015/03/31 Javascript
jQuery判断多个input file 都不能为空的例子
2015/06/23 Javascript
浅谈Angular.js中使用$watch监听模型变化
2017/01/10 Javascript
利用PM2部署node.js项目的方法教程
2017/05/10 Javascript
JavaScript Canvas实现验证码
2020/08/02 Javascript
vue elementui el-form rules动态验证的实例代码详解
2019/05/23 Javascript
vue实现一拉到底的滑动验证
2019/07/25 Javascript
vue 中的动态传参和query传参操作
2020/11/09 Javascript
[38:31]完美世界DOTA2联赛PWL S3 Magma vs GXR 第一场 12.13
2020/12/17 DOTA
简单了解Python下用于监视文件系统的pyinotify包
2015/11/13 Python
Python split() 函数拆分字符串将字符串转化为列的方法
2019/07/16 Python
Python字符编码转码之GBK,UTF8互转
2020/02/09 Python
浅析python标准库中的glob
2020/03/13 Python
Python面向对象程序设计之类和对象、实例变量、类变量用法分析
2020/03/23 Python
Python实现迪杰斯特拉算法并生成最短路径的示例代码
2020/12/01 Python
Html5+JS实现手机摇一摇功能
2015/04/24 HTML / CSS
使用phonegap克隆和删除联系人的实现方法
2017/03/31 HTML / CSS
GEOX鞋美国官方网站:意大利会呼吸的鞋
2017/07/12 全球购物
联想阿根廷官方网站:Lenovo Argentina
2019/10/14 全球购物
保安拾金不昧表扬信
2014/01/15 职场文书
刑事辩护授权委托书
2014/09/13 职场文书
2015年学生会干事工作总结
2015/04/09 职场文书
2016年乡镇综治宣传月活动总结
2016/03/16 职场文书
Python入门学习之类的相关知识总结
2021/05/25 Python
JavaScript实现贪吃蛇游戏
2021/06/16 Javascript
详细聊一聊mysql的树形结构存储以及查询
2022/04/05 MySQL
vue中的可拖拽宽度div的实现示例
2022/04/08 Vue.js