用于文本处理的方法和装置.pdf

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号CN111339256A(43)申请公布日2020.06.26(21)申请号202010127184.3(22)申请日2020.02.28(71)申请人支付宝（杭州）信息技术有限公司地址310000浙江省杭州市西湖区西溪路556号8层B段801-11(72)发明人彭爽崔恒斌(74)专利代理机构北京永新同创知识产权代理有限公司11376代理人杨锡劢赵磊(51)Int.Cl.G06F16/33(2019.01)G06F16/332(2019.01)G06F40/211(2020.01)G06N3/04(2006.01)G06N3/08(2006.01)权利要求书3页说明书10页附图4页(54)发明名称用于文本处理的方法和装置(57)摘要本说明书的实施例提供了用于文本处理的方法、装置、计算设备和机器可读存储介质。该方法包括：接收第一文本向量和第二文本向量，其中，第一文本向量用于表示用户问句文本，第二文本向量用于表示候选问句文本，候选问句文本是从知识库中获取的；利用RNN和CNN，对第一文本向量和第二文本向量进行编码，得到针对第一文本向量的第一编码结果和针对第二文本向量的第二编码结果；基于第一编码结果和第二编码结果，确定用户问句文本与候选问句文本之间的相似度，其中，相似度用于确定针对用户问句文本的答复。CN111339256ACN111339256A权利要求书1/3页1.一种用于文本处理的方法，包括：接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二文本向量用于表示候选问句文本，所述候选问句文本是从知识库中获取的，所述知识库包括至少一个现有问句文本以及针对各个现有问句文本的答案文本；利用递归神经网络RNN和卷积神经网络CNN，对所述第一文本向量和所述第二文本向量进行编码，得到针对所述第一文本向量的第一编码结果和针对所述第二文本向量的第二编码结果；基于所述第一编码结果和所述第二编码结果，确定所述用户问句文本与所述候选问句文本之间的相似度，其中，所述相似度用于确定针对所述用户问句文本的答复。2.根据权利要求1所述的方法，其中，所述第一编码结果包括第一初始编码向量和第一二次编码向量，所述第二编码结果包括第二初始编码向量和第二二次编码向量；对所述第一文本向量和所述第二文本向量进行编码，包括：利用所述RNN对所述第一文本向量进行编码，得到所述第一初始编码向量，以及利用所述CNN对所述第一初始编码向量进行编码，得到所述第一二次编码向量；利用所述RNN对所述第二文本向量进行编码，得到所述第二初始编码向量，以及利用所述CNN对所述第二初始编码向量进行编码，得到所述第二二次编码向量。3.根据权利要求2所述的方法，其中，确定所述用户问句文本与所述候选问句文本之间的相似度，包括：基于软注意力机制对所述第一编码结果和所述第二编码结果进行处理，得到针对所述用户问句文本的第一交互表示结果和针对所述候选问句文本的第二交互表示结果；基于所述第一交互表示结果和所述第二交互表示结果，确定所述相似度。4.根据权利要求3所述的方法，其中，基于软注意力机制对所述第一编码结果和所述第二编码结果进行处理，包括：基于所述第一初始编码向量和所述第二初始编码向量，确定所述用户问句文本相对于所述候选问句文本的第一相对注意力向量、以及所述候选问句文本相对于所述用户问句文本的第二相对注意力向量；通过拼接操作和池化操作对所述第一相对注意力向量、所述第一初始编码向量和所述第一二次编码向量进行处理，得到所述第一交互表示结果；通过拼接操作和池化操作对所述第二相对注意力向量、所述第二初始编码向量和所述第二二次编码向量进行处理，得到所述第二交互表示结果。5.根据权利要求3或4所述的方法，其中，基于所述第一交互表示结果和所述第二交互表示结果，确定所述相似度，包括：基于门限机制对所述第一交互表示结果和所述第二交互表示结果进行融合，得到融合结果，其中，所述门限机制用于筛选出所述第一交互表示结果和所述第二交互表示结果两者中能够融合的部分；基于所述融合结果，确定所述用户问句文本与所述候选问句文本相似的概率，作为所述相似度。6.根据权利要求1至5中任一项所述的方法，其中，所述CNN包括至少两级卷积层，在所述至少两级卷积层中，第一级卷积层包括卷积核大小为1的至少一个CNN单元，在所述第一2CN111339256A权利要求书2/3页级卷积层之后的各级卷积层包括卷积核大小大于1的至少一个CNN单元。7.根据权利要求1至6中任一项所述的方法，其中，所述RNN包括双向门控递归单元BiGRU。8.一种用于文本处理的装置，包括：接收模块，其接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用户问句文本，所述第二