阿里「杀手锏」级语音识别模型来了！推理效率较传统模型提升 10 倍，已开源

导读：阿里达摩院，又搞事儿了。　　这两天，它们发布了一个全新的语音识别模型：　　Paraformer。　　开发人员直言不讳：这是我们 " 杀手锏 " 级的作品。　　——不仅识别准

　　阿里达摩院，又搞事儿了。

　　这两天，它们发布了一个全新的语音识别模型：

　　Paraformer。

　　开发人员直言不讳：这是我们 " 杀手锏 " 级的作品。

　　——不仅识别准确率 " 屠榜 " 几大权威数据集，一路 SOTA，推理效率上相比传统模型，也最高可提升 10 倍。

　　值得一提的是，Paraformer 刚宣布就已经开源了。

　　语音输入法、智能客服、车载导航、会议纪要等场景，它都可以 hold 住。

　　怎么做到的？

　　Paraformer：从自回归到非自回归

　　我们知道语音一直是人机交互重要研究领域。

　　而当前语音识别基础框架已从最初复杂的混合语音识别系统，演变为高效便捷的端到端语音识别系统。

　　其中最具代表性的模型当属自回归端到端模型 Transformer，它可以在识别过程中需逐个生成目标文字，实现了较高准确率。

　　不过 Transformer 计算并行度低，无法高效结合 GPU 进行推理。

　　针对该问题，学术界近年曾提出并行输出目标文字的非自回归模型。

　　然而这种模型也存在着建模难度和计算复杂度高，准确率有待提升的问题。

　　达摩院本次推出的 Paraformer，首次在工业级应用层面解决了端到端识别效果与效率兼顾的难题。

　　它属于单轮非自回归模型。

　　对于这一类模型，现有工作往往聚焦于如何更加准确地预测目标文字个数，如较为典型的 Mask CTC，采用 CTC 预测输出文字个数。

　　但考虑到现实应用中，语速、口音、静音以及噪声等因素的影响，如何准确的预测目标文字个数以及抽取目标文字对应的声学隐变量仍然是一个比较大的挑战。

　　另外一方面，通过对比自回归模型与单轮非自回归模型在工业大数据上的错误类型（如下图所示，AR 与 vanilla NAR），大家发现相比于自回归模型，非自回归模型在预测目标文字个数（插入错误 + 删除错误）方面差距较小，但是替换错误显著的增加。

　　阿里达摩院认为这是由于单轮非自回归模型中条件独立假设导致的语义信息丢失。与此同时，目前非自回归模型主要停留在学术验证阶段，还没有工业大数据上的相关实验与结论。

　　Paraformer 是如何做的呢？

　　针对第一个问题，阿里达摩院采用一个预测器（Predictor）来预测文字个数并通过 Continuous integrate-and-fire ( CIF ) 机制来抽取文字对应的声学隐变量。

　　针对第二个问题，受启发于机器翻译领域中的 Glancing language model（GLM），他们设计了一个基于 GLM 的 Sampler 模块来增强模型对上下文语义的建模。

　　除此之外，团队还设计了一种生成负样本策略来引入 MWER 区分性训练。

　　最终，Paraformer 由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。

　　核心点主要包含以下几点：

　　Predictor 模块：基于 CIF 的 Predictor 预测语音中目标文字个数以及抽取目标文字对应的声学特征向量；

　　Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力；

　　基于负样本采样的 MWER 训练准则。

　　效果 SOTA，推理效率最高提 10 倍

　　最终，在学术界常用的中文识别评测任务 AISHELL-1、AISHELL-2 及 WenetSpeech 等测试集上， Paraformer-large 模型均获得了最优效果。

　　在 AISHELL-1 上，Paraformer 在目前公开发表论文中，为性能（识别效果 & 计算复杂度）最优的非自回归模型，且 Paraformer-large 模型的识别准确率远远超于目前公开发表论文中的结果（dev/test：1.75/1.95）。

　　在专业的第三方全网公共云中文语音识别评测 SpeechIO TIOBE 白盒测试中，Paraformer-large 识别准确率超过 98%，是目前公开测评中准确率最高的中文语音识别模型。

　　配合 GPU 推理，不同版本的 Paraformer 可将推理效率提升 5～10 倍。

　　同时，Paraformer 使用了 6 倍下采样的低帧率建模方案，可将计算量降低近 6 倍，支持大模型的高效推理。

　　量子位将赠送 3 张阿里研发的会议纪要产品 " 听悟 " 特邀用户年度权益卡，每天可使用离线语音 / 视频转写 10 小时 + 实时转写 8 小时，最高价值超万元！

　　体验地址：

　　https://www.modelscope.cn/models/damo/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-pytorch/summary

　　论文地址：

　　https://arxiv.org/abs/2206.08317