微信小程序实现语音识别转文字功能及遇到的坑


Posted in Javascript onAugust 02, 2019

最近为小程序增加语音识别转文字的功能,坑路不断,特此记录。

微信开发者工具

开发者工具上的录音文件与移动端格式不同,暂时只可在工具上进行播放调试,无法直接播放或者在客户端上播放

debug的时候发现,工具上录音的路径是http://tmp/xxx.mp3,客户端上录音是wxfile://xxx.mp3。 忽悠呢,不是格式不同,是映射路径不同。

其实做个兼容也不难,每次提示一行文字,很丑。

采样率与编码码率限制

每种采样率有对应的编码码率范围有效值,设置不合法的采样率或编码码率会导致录音失败。详细看这个
https://developers.weixin.qq.com/miniprogram/dev/api/media/recorder/RecorderManager.start.html

一开始没有留意,导致录音不成功。

试过几次后,采用这样的配置,感觉录音识别率和体积之间比较好平衡:

sampleRate: 16000, //采样率
numberOfChannels: 1, //录音通道数
encodeBitRate: 96000, //编码码率

单通道基本是必选的。因为asr只支持单通道。frameSize也是可以的,但是要考虑截断对识别的影响。暂时没有用上。

录音优化

因为可能误按,于是对小于500ms的录音直接忽略。
另外,松开录音按键后,再延迟一点时间才真正stop录音。

录音文件格式

微信录音文件支持mp3和aac。这2种格式文件都比较小,aac文件体积更小。这对上传来说是件好事情,速度更快。
但是对语音识别转文字就不友好了。因为百度、阿里云ASR、讯飞的语音转文字接口都不支持aac和mp3,通常要求是pcm或者wav格式。

如果微信录音能提供wav格式,那么就不用服务器做格式转换了,但是wav格式体积是mp3、aac的5到10倍,至少短期是没戏了,这也是很多人吐槽的地方。

服务器转换录音文件格式

可以用java第三方库转换,也可以用Process调用ffmpeg转换。要注意的是,根据识别API的要求来做转换。比如阿里云asr的要求是:

支持音频编码格式:pcm(无压缩的pcm文件或wav文件)、opus,16bit采样位数的单声道(mono);
支持音频采样率:8000Hz、16000Hz;

java ProcessBuilder要使用数组传参

转换音视频,习惯用ffmpeg。安装完ffmpeg之后,用java新建进程调用。

Process = new ProcessBuilder("ffmpeg -i in.mp3 out.wav").start();

一直提示CreateProcess error。 后来看文档才发现,要以数组的形式传入参数。

Process = new ProcessBuilder("ffmpeg", "-y", "-i", "in.mp3", "out.wav").start();

这样就启动成功了。

关于java启动进程,不是本文重点,以后再写篇文章总结。

阿里云asr sdk使用问题

这个问题困扰了一天时间,回想起来真是吐血。
问题表现是微信录制的语音很多都识别不了。
最初是直接把录音mp3文件转换为pcm文件,本地能播放,但是用阿里云asr sdk却识别不了。 一开始以为是文件编码问题。特意查了asr支持的文件格式,用ffprobe检查,potplayer看属性,都没有看出问题。
甚至把启动ffmpeg进程转换也改了,用了java的库去做,还是不行。
后来为了方便测试问题,用asr的restful接口测试录音文件,都能识别! 似乎是sdk的问题。于是打开官方文档例子对比。发现用的是sdk 2.x,老铁啊你复制粘贴过来的代码竟然少了!欲哭无泪。

// TODO 重要提示:这里是用读取本地文件的形式模拟实时获取语音流并发送的,因为read很快,所以这里需要sleep
// TODO 如果是真正的实时获取语音,则无需sleep, 如果是8k采样率语音,第二个参数改为8000
int deltaSleep = getSleepDelta(len, sampleRate);
Thread.sleep(deltaSleep);

也少了对sampleRate的设置。

阿里云asr token过期

因为用的是免费版asr,没有给福报厂充值,因此token一天失效,导致联调的时候突然报错。
最后实在受不了,写了个定时任务每小时更新token。
这,就是beggar VIP?

wx.uploadFile返回值

封装了一个接口parseResponse,统一解析查询结果(文本、语音)。发现奇怪的问题:

用文本查询的,可以正常解析结果用语音查询的,明明已经返回了结果,却解析不了!

只能console.log()打印出来对比

微信小程序实现语音识别转文字功能及遇到的坑

第一行是wx.request()发起文本查询。
第二行是wx.uploadFile()上传语音文件后直接语音转文字,并且查询。

wx.request返回值是json对象。
wx.uploadFile返回值是“字符串”!
wx.uploadFile返回值是“字符串”!
wx.uploadFile返回值是“字符串”!
重要的事情要说3遍。尽管Content-Type: "application/json; charset=utf8",但是微信根本不做转换!非常坑爹!

解决:对wx.uploadFile返回值进行JSON.parse(res.data),得到json对象。

更换appid和secret

因为正式小程序项目账号一直拖着没有申请,所以这段时间用的是我个人的appid和secret进行开发。
等正式账号准备好了,更新了小程序项目的appid,并且发出内部体验包。

此时已经深夜1点半,头脑有点发懵。只更新了小程序appid,竟然忘了更新服务器的appid和secret。。。
于是乎反复报错登录失败。
过了一会才反映过来,更新服务器的appi的secret,但是还是用户。才想起忘了还有storage缓存没有清除?,里面放着自定义的session。这下真机体验没问题了。
但是微信开发者工具又是登录失败。反复摸索后发现:更换小程序appid后,清除所有数据,关闭开发者工具,重新打开,这就正常了。应该是微信开发者工具的bug。

https://ycwu314.github.io/p/miniapp-speech-to-text-experience/

总结

以上所述是小编给大家介绍的微信小程序实现语音识别转文字功能及遇到的坑,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Javascript 相关文章推荐
初学Jquery插件制作 在SageCRM的查询屏幕隐藏部分行的功能
Dec 26 Javascript
在jQuery中 关于json空对象筛选替换
Apr 15 Javascript
让页面上两个div中的滚动条(滑块)同步运动示例
Aug 07 Javascript
js 对小数加法精度处理示例说明
Dec 27 Javascript
JS+DIV+CSS排版布局实现美观的选项卡效果
Oct 10 Javascript
JS实现简单的二元方程计算器功能示例
Jan 03 Javascript
AngularJS 支付倒计时功能实现思路
Jun 05 Javascript
JavaScript之Date_动力节点Java学院整理
Jun 28 Javascript
实例详解BootStrap的动态模态框及静态模态框
Aug 13 Javascript
JavaScript页面倒计时功能完整示例
May 15 Javascript
createObjectURL方法实现本地图片预览
Sep 30 Javascript
在Vue中使用mockjs代码实例
Nov 25 Vue.js
jQuery pager.js 插件动态分页功能实例分析
Aug 02 #jQuery
vue单页应用的内存泄露定位和修复问题小结
Aug 02 #Javascript
vue回到顶部监听滚动事件详解
Aug 02 #Javascript
微信小程序npm引入vant-weapp的踩坑记录
Aug 01 #Javascript
vue3.0中的双向数据绑定方法及优缺点
Aug 01 #Javascript
微信小程序导入Vant报错VM292:1 thirdScriptError的解决方法
Aug 01 #Javascript
微信小程序使用Vant Weapp组件库的方法步骤
Aug 01 #Javascript
You might like
那些年一起学习的PHP(二)
2012/03/21 PHP
php二维数组转成字符串示例
2014/02/17 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
在IE中调用javascript打开Excel的代码(downmoon原作)
2007/04/02 Javascript
JavaScript 继承机制的实现(待续)
2010/05/18 Javascript
javascript之querySelector和querySelectorAll使用介绍
2011/12/20 Javascript
javascript 基础篇4 window对象,DOM
2012/03/14 Javascript
Js 回车换行处理的办法及replace方法应用
2013/01/24 Javascript
js判断浏览器类型的方法
2013/08/07 Javascript
Ext修改GridPanel数据和字体颜色、css属性等
2014/06/13 Javascript
jQuery中get()方法用法实例
2014/12/27 Javascript
JS中的hasOwnProperty()、propertyIsEnumerable()和isPrototypeOf()
2016/08/11 Javascript
Angular2 (RC4) 路由与导航详解
2016/09/21 Javascript
seajs学习之模块的依赖加载及模块API的导出
2016/10/20 Javascript
layui.js实现的表单验证功能示例
2017/11/15 Javascript
基于jquery.page.js实现分页效果
2018/01/01 jQuery
Vue Element使用icon图标教程详解(第三方)
2018/02/07 Javascript
基于vue v-for 多层循环嵌套获取行数的方法
2018/09/26 Javascript
解决vue项目打包上服务器显示404错误,本地没出错的问题
2020/11/03 Javascript
vue element和nuxt的使用技巧分享
2021/01/14 Vue.js
[02:47]2018年度DOTA2最佳辅助位选手4号位-完美盛典
2018/12/17 DOTA
python抓取并保存html页面时乱码问题的解决方法
2016/07/01 Python
用Python自动清理系统垃圾的实现
2021/01/18 Python
美国在线家装零售商:Build.com
2016/09/02 全球购物
印度低票价航空公司:GoAir
2017/10/11 全球购物
JOSEPH官网:英国奢侈时尚品牌
2018/01/31 全球购物
小车司机岗位职责
2013/11/25 职场文书
大学校庆邀请函
2014/01/11 职场文书
老同学聚会感言
2014/02/23 职场文书
化学专业自荐信
2014/05/28 职场文书
大学生档案自我鉴定(2篇)
2014/10/14 职场文书
刑事辩护授权委托书范本
2014/10/17 职场文书
商场营业员岗位职责
2015/04/14 职场文书
会议室管理制度范本
2015/08/06 职场文书
感恩主题班会教案
2015/08/12 职场文书
使用Python开发冰球小游戏
2022/04/30 Python