2021105297974一种基于元学习提高生僻字识别的端到端自动语音识别算法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号CN113178190A
(43)申请公布日2021.07.27
(21)申请号202110529797.4
(22)申请日2021.05.14
(71)申请人山东浪潮科学研究院有限公司
地址250101山东省济南市历下区高新区
浪潮路1036号S02号楼
(72)发明人朱翔宇李锐王建华
(74)专利代理机构济南泉城专利商标事务所
37218
代理人李桂存
(51)Int.Cl.
G10L15/02(2006.01)
G10L15/16(2006.01)
G10L15/28(2013.01)

权利要求书1页说明书3页附图1页
(54)发明名称
一种基于元学习提高生僻字识别的端到端
自动语音识别算法
(57)摘要
本发明提供了一种基于元学习提高生僻字
识别的端到端自动语音识别算法。此发明提出了
一种生成有意义的语音嵌入的新方法，对四种常
用的元学习方法进行了更改，其中包括Siamese
网络、Matching网络、Proto网络和Relation网
络，以使它们能够在连续语音信号中执行关键字
识别，然后将关键字进行打分排序，然后将其结
果结合到端到端自动语音识别系统中进行匹配，
如果自动语音识别模块中含有元学习网络识别
的高分生僻字，就把这个生僻字移动到排名第一
的位置作为自动语音识别的输出选项，用这种方
法改进生僻词的识别。能够在连续信号中执行关
键字识别，并提出了一种将其结果结合到端到端
自动语音识别系统中以进行改进的生僻字识别
算法。
CN113178190A
CN113178190A权利要求书1/1页

1.一种基于元学习提高生僻字识别的端到端自动语音识别算法，其特征在于，包括以
下步骤：
步骤1：将音频的语音从扬声器、麦克风、录音环境等因素中抽离，利用Transformer的
编码器每个时间步长产生512个维度的嵌入矩阵，然后施加Attention获得稳定的嵌入。
步骤2：元学习模块分为四种评分机制，分别为Siamese网络、Relation网络、
Prototypical网络和Matching网络，每个网络都为一对query和一个类的支持集的成员分
配相似性评分，该query是自动语音识别编码信号的窗口，对于每个类别，将保存其任何支
持在任何窗口中达到的最高相似性评分，最后，将每个类别的评分与手动设置的阈值进行
比较，如果该阈值达到峰值，则将其添加到传递给自动语音识别解码器的已识别关键字列
表中；
步骤3：语音识别整合模块利用自动语音识别的解码器使用波束搜索生成一组假设，然
后利用元学习产生的评分机制，与波束搜索产生的结果进行匹配，如果在波束搜索中有出
现的生僻字，然后利用元学习的评分机制进行排序，提高识别率。
2.根据权利要求1所述的基于元学习提高生僻字识别的端到端自动语音识别算法，其
特征在于，所述步骤2中：

Siamese网络公式：q代表query，enc(q)代表q的

编码矩阵，enc(s)代表s的编码矩阵，s代表支持集；
Relation网络公式：q代表query，
relat代表关系函数，concat代表向量练级

Prototypical网络公式：

Matching网络公式：reduce代表序
列轴上进行缩减的方法，att代表注意力机制。

2
CN113178190A说明书1/3页

一种基于元学习提高生僻字识别的端到端自动语音识别算法

技术领域
[0001]本发明涉及一种基于元学习提高生僻字识别的端到端自动语音识别算法，属于自
动语音识别技术领域。

背景技术
[0002]虽然近年来端到端深度学习模型为自动语音识别领域带来了巨大的进步，并显着
降低了词错误率，他们也有一系列问题。尽管它们需要与未知单词配合使用，但由于它们通
常会连接子单词单元，因此本质上可以产生任何文本的转录，因此它们在生僻字上的表现
往往比经典的深度学习自动语音识别系统更差。这是由于他们具有内部潜在语言模型，该
模型有偏置且无法调整。
[0003]尽管这些词很少见，但它们在许多任务中往往非常重要。一个很好的例子就是自
动会议抄录。人们经常在会议中通过名字互相称呼。与会人员可以使用非常独特的发音来
使用非常独特的名称。因此，对于抄录而言，期望使用哪些名称的先验知识可能会非常有帮
助。但是，将其合并是一项艰巨的任务，因为E2E方法缺少词汇或发音词典，因此无法轻松进
行微调。

发明内容
[0004]本发明目的是提供了一种基于元学习提高生僻字识别的端到端自动语音识别算
法，能够在连续信号中执行关键字识别，并提出了一种将其结果结合到端到端自动语音识
别系统中以进行改进的生僻字识别算法。
[0005]本发明为实现上述目的，通过以下技术方案实