Python实现语音识别和语音合成功能


Posted in Python onSeptember 20, 2019

声音的本质是震动,震动的本质是位移关于时间的函数,波形文件(.wav)中记录了不同采样时刻的位移。

通过傅里叶变换,可以将时间域的声音函数分解为一系列不同频率的正弦函数的叠加,通过频率谱线的特殊分布,建立音频内容和文本的对应关系,以此作为模型训练的基础。

案例:画出语音信号的波形和频率分布,(freq.wav数据地址)

# -*- encoding:utf-8 -*-
import numpy as np
import numpy.fft as nf
import scipy.io.wavfile as wf
import matplotlib.pyplot as plt
sample_rate, sigs = wf.read('../machine_learning_date/freq.wav')
print(sample_rate)   # 8000采样率
print(sigs.shape)  # (3251,)
sigs = sigs / (2 ** 15) # 归一化
times = np.arange(len(sigs)) / sample_rate
freqs = nf.fftfreq(sigs.size, 1 / sample_rate)
ffts = nf.fft(sigs)
pows = np.abs(ffts)
plt.figure('Audio')
plt.subplot(121)
plt.title('Time Domain')
plt.xlabel('Time', fontsize=12)
plt.ylabel('Signal', fontsize=12)
plt.tick_params(labelsize=10)
plt.grid(linestyle=':')
plt.plot(times, sigs, c='dodgerblue', label='Signal')
plt.legend()
plt.subplot(122)
plt.title('Frequency Domain')
plt.xlabel('Frequency', fontsize=12)
plt.ylabel('Power', fontsize=12)
plt.tick_params(labelsize=10)
plt.grid(linestyle=':')
plt.plot(freqs[freqs >= 0], pows[freqs >= 0], c='orangered', label='Power')
plt.legend()
plt.tight_layout()
plt.show()

Python实现语音识别和语音合成功能

语音识别

梅尔频率倒谱系数(MFCC)通过与声音内容密切相关的13个特殊频率所对应的能量分布,可以使用梅尔频率倒谱系数矩阵作为语音识别的特征。基于隐马尔科夫模型进行模式识别,找到测试样本最匹配的声音模型,从而识别语音内容。

MFCC

梅尔频率倒谱系数相关API:

import scipy.io.wavfile as wf
import python_speech_features as sf
sample_rate, sigs = wf.read('../data/freq.wav')
mfcc = sf.mfcc(sigs, sample_rate)

案例:画出MFCC矩阵:

python -m pip install python_speech_features
import scipy.io.wavfile as wf
import python_speech_features as sf
import matplotlib.pyplot as mp
sample_rate, sigs = wf.read(
  '../ml_data/speeches/training/banana/banana01.wav')
mfcc = sf.mfcc(sigs, sample_rate)
mp.matshow(mfcc.T, cmap='gist_rainbow')
mp.show()

Python实现语音识别和语音合成功能

隐马尔科夫模型

隐马尔科夫模型相关API:

import hmmlearn.hmm as hl
model = hl.GaussianHMM(n_components=4, covariance_type='diag', n_iter=1000)
# n_components: 用几个高斯分布函数拟合样本数据
# covariance_type: 相关矩阵的辅对角线进行相关性比较
# n_iter: 最大迭代上限
model.fit(mfccs) # 使用模型匹配测试mfcc矩阵的分值 score = model.score(test_mfccs)

案例:训练training文件夹下的音频,对testing文件夹下的音频文件做分类

1、读取training文件夹中的训练音频样本,每个音频对应一个mfcc矩阵,每个mfcc都有一个类别(apple)。

2、把所有类别为apple的mfcc合并在一起,形成训练集。

| mfcc |

    |

| mfcc | apple |

| mfcc |

    |

.....

由上述训练集样本可以训练一个用于匹配apple的HMM。

3、训练7个HMM分别对应每个水果类别。 保存在列表中。

4、读取testing文件夹中的测试样本,整理测试样本

| mfcc | apple |

| mfcc | lime   |

5、针对每一个测试样本:

1、分别使用7个HMM模型,对测试样本计算score得分。

2、取7个模型中得分最高的模型所属类别作为预测类别。

import os
import numpy as np
import scipy.io.wavfile as wf
import python_speech_features as sf
import hmmlearn.hmm as hl
​
#1. 读取training文件夹中的训练音频样本,每个音频对应一个mfcc矩阵,每个mfcc都有一个类别(apple)。
def search_file(directory):
  # 使传过来的directory匹配当前操作系统
  # {'apple':[url, url, url ... ], 'banana':[...]}  
  directory = os.path.normpath(directory)
  objects = {}
  # curdir:当前目录 
  # subdirs: 当前目录下的所有子目录
  # files: 当前目录下的所有文件名
  for curdir, subdirs, files in os.walk(directory):
    for file in files:
      if file.endswith('.wav'):
        label = curdir.split(os.path.sep)[-1]
        if label not in objects:
          objects[label] = []
        # 把路径添加到label对应的列表中
        path = os.path.join(curdir, file)
        objects[label].append(path)
  return objects
​
#读取训练集数据
train_samples = \
  search_file('../ml_data/speeches/training')
​
'''

2. 把所有类别为apple的mfcc合并在一起,形成训练集。

| mfcc |    |
  | mfcc | apple |
  | mfcc |    |
  .....
  由上述训练集样本可以训练一个用于匹配apple的HMM。
'''
train_x, train_y = [], []
# 遍历7次 apple/banana/...
for label, filenames in train_samples.items():
  mfccs = np.array([])
  for filename in filenames:
    sample_rate, sigs = wf.read(filename)
    mfcc = sf.mfcc(sigs, sample_rate)
    if len(mfccs)==0:
      mfccs = mfcc
    else:
      mfccs = np.append(mfccs, mfcc, axis=0)
  train_x.append(mfccs)
  train_y.append(label)
'''
训练集:
  train_x train_y
  ----------------
  | mfcc |    |
  | mfcc | apple |
  | mfcc |    |
  ----------------
  | mfcc |    |
  | mfcc | banana |
  | mfcc |    |
  -----------------
  | mfcc |    |
  | mfcc | lime  |
  | mfcc |    |
  -----------------
'''
# {'apple':object, 'banana':object ...}
models = {}
for mfccs, label in zip(train_x, train_y):
  model = hl.GaussianHMM(n_components=4, 
    covariance_type='diag', n_iter=1000)
  models[label] = model.fit(mfccs)
'''

4. 读取testing文件夹中的测试样本,针对每一个测试样本:

   1. 分别使用7个HMM模型,对测试样本计算score得分。

   2. 取7个模型中得分最高的模型所属类别作为预测类别。

'''
#读取测试集数据
test_samples = \
  search_file('../ml_data/speeches/testing')
​
test_x, test_y = [], []
for label, filenames in test_samples.items():
  mfccs = np.array([])
  for filename in filenames:
    sample_rate, sigs = wf.read(filename)
    mfcc = sf.mfcc(sigs, sample_rate)
    if len(mfccs)==0:
      mfccs = mfcc
    else:
      mfccs = np.append(mfccs, mfcc, axis=0)
  test_x.append(mfccs)
  test_y.append(label)
​
'''测试集:
  test_x test_y
  -----------------
  | mfcc | apple |
  -----------------
  | mfcc | banana |
  -----------------
  | mfcc | lime  |
  -----------------
'''
pred_test_y = []
for mfccs in test_x:
# 判断mfccs与哪一个HMM模型更加匹配
best_score, best_label = None, None
for label, model in models.items():
score = model.score(mfccs)
if (best_score is None) or (best_score<score):
best_score = score
best_label = label
pred_test_y.append(best_label)
​
print(test_y)
print(pred_test_y)

声音合成

根据需求获取某个声音的模型频域数据,根据业务需要可以修改模型数据,逆向生成时域数据,完成声音的合成。

案例:

import json
import numpy as np
import scipy.io.wavfile as wf
with open('../data/12.json', 'r') as f:
  freqs = json.loads(f.read())
tones = [
  ('G5', 1.5),
  ('A5', 0.5),
  ('G5', 1.5),
  ('E5', 0.5),
  ('D5', 0.5),
  ('E5', 0.25),
  ('D5', 0.25),
  ('C5', 0.5),
  ('A4', 0.5),
  ('C5', 0.75)]
sample_rate = 44100
music = np.empty(shape=1)
for tone, duration in tones:
  times = np.linspace(0, duration, duration * sample_rate)
  sound = np.sin(2 * np.pi * freqs[tone] * times)
  music = np.append(music, sound)
music *= 2 ** 15
music = music.astype(np.int16)
wf.write('../data/music.wav', sample_rate, music)

总结

以上所述是小编给大家介绍的Python实现语音识别和语音合成功能,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
在Python的setuptools框架下生成egg的教程
Apr 13 Python
离线安装Pyecharts的步骤以及依赖包流程
Apr 23 Python
解决python文件字符串转列表时遇到空行的问题
Jul 09 Python
python发送邮件实例分享
Jul 28 Python
基于数据归一化以及Python实现方式
Jul 11 Python
Python实现正整数分解质因数操作示例
Aug 01 Python
python3 selenium自动化 下拉框定位的例子
Aug 23 Python
Django CBV模型源码运行流程详解
Aug 17 Python
装上这 14 个插件后,PyCharm 真的是无敌的存在
Jan 11 Python
Python读取文件夹下的所有文件实例代码
Apr 02 Python
Python Django 后台管理之后台模型属性详解
Apr 25 Python
Python道路车道线检测的实现
Jun 27 Python
使用python将最新的测试报告以附件的形式发到指定邮箱
Sep 20 #Python
Python使用__new__()方法为对象分配内存及返回对象的引用示例
Sep 20 #Python
Python 类方法和实例方法(@classmethod),静态方法(@staticmethod)原理与用法分析
Sep 20 #Python
Python 类属性与实例属性,类对象与实例对象用法分析
Sep 20 #Python
使用python脚本自动创建pip.ini配置文件代码实例
Sep 20 #Python
使用Python给头像戴上圣诞帽的图像操作过程解析
Sep 20 #Python
Python 函数用法简单示例【定义、参数、返回值、函数嵌套】
Sep 20 #Python
You might like
老照片 - 几十年前的收音机与人
2021/03/02 无线电
SONY SRF-M100的电路分析
2021/03/02 无线电
PHP新手上路(八)
2006/10/09 PHP
php代码把全角数字转为半角数字
2007/12/10 PHP
PHP mb_convert_encoding 获取字符串编码类型实现代码
2009/04/26 PHP
php实现mysql数据库连接操作及用户管理
2015/11/08 PHP
Symfony学习十分钟入门经典教程
2016/02/03 PHP
Zend Framework动作助手(Zend_Controller_Action_Helper)用法详解
2016/03/05 PHP
CI框架数据库查询缓存优化的方法
2016/11/21 PHP
yii插入数据库防并发的简单代码
2017/05/27 PHP
浅谈php使用curl模拟多线程发送请求
2019/03/08 PHP
laravel中的fillable和guarded属性详解
2019/10/23 PHP
C#中TrimStart,TrimEnd,Trim在javascript上的实现
2011/01/17 Javascript
JavaScript的Polymer框架中dom-repeat与VM的相关操作
2015/07/29 Javascript
JS三级可折叠菜单实现方法
2016/02/29 Javascript
Bootstrap DateTime Picker日历控件简单应用
2017/03/25 Javascript
从零开始学习Node.js系列教程四:多页面实现数学运算的client端和server端示例
2017/04/13 Javascript
jquery实现放大镜简洁代码(推荐)
2017/06/08 jQuery
基于vue2.0实现的级联选择器
2017/06/09 Javascript
解决vue单页面 回退页面 keeplive 缓存问题
2020/07/22 Javascript
vue插件--仿微信小程序showModel实现模态提示窗功能
2020/08/19 Javascript
Python制作简易注册登录系统
2016/12/15 Python
Python之str操作方法(详解)
2017/06/19 Python
tensorflow1.0学习之模型的保存与恢复(Saver)
2018/04/23 Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
2019/04/15 Python
python 使用shutil复制图片的例子
2019/12/13 Python
pytorch实现对输入超过三通道的数据进行训练
2020/01/15 Python
python实现查找所有程序的安装信息
2020/02/18 Python
中学生旷课检讨书2篇
2014/10/09 职场文书
乡镇民主生活会发言材料
2014/10/20 职场文书
2015年入党积极分子评语
2015/03/26 职场文书
社区扶贫帮困工作总结
2015/05/20 职场文书
应用最多的公文《通知》如何写?
2019/04/02 职场文书
承诺书的内容有哪些,怎么写?
2019/06/21 职场文书
员工工作失职检讨书范文!
2019/07/03 职场文书
python编写函数注意事项总结
2021/03/29 Python