【专利解密】AI同传技术持续突破 科大讯飞最新提出同传延迟检测方案

【嘉勤点评】科大讯飞发明的同传延迟检测方案，主要基于语句同传延迟，统计得到篇章同传延迟。能够自动检测同传延迟，相较于人工检测有助于大幅减少检测时间和检测成本。

集微网消息，近些年，来随着深度学习在语音、自然语言处理等领域的应用，语音识别的准确率在不断提高，机器翻译（如中译英、英译中等方向）的翻译效果也在不断改善，其中机器翻译在大规模语料基本已达到人工翻译水平。

在此前人工同传的时代，可以直接采用人工主观评分的方式从核心信息译出率、翻译准确度、发音、语气和延迟等多个维度进行评分。但是随着机器同传的到来，在效果优化时无法每次采用高成本的人工评分来对比。

因此，如何自动检测同传延迟成为研究者思考的问题。在2022年3月2日，科大讯飞提出了一项名为“同传延迟检测方法及相关装置、电子设备、存储介质”的技术方案（申请号：202210199273.8），申请人为科大讯飞股份有限公司。

根据该专利目前公开的相关资料，让我们一起来看看这项技术方案吧。

如上图，为该专利中发明的同步延迟检测方法的流程示意图，首先，检测同传过程中各个语句对的语句同传延迟。语句对包括源语种的第一语句和目标语种的第二语句，例如，源语种可以为“英语”，目标语种可以为“汉语”。语句同传延迟包括帧级延迟，帧级延迟反映了同传过程中各个语句帧整体的延迟情况。

而语句同传延迟还包括累积延迟，累积延迟可以基于第二语句的第二帧数和第一语句的第一帧数两者的差值获得。其中，第二帧数指的是第二语句中第二语句帧的总数，第一帧数指的是第一语句中第一语句帧的总数。

如上图，为同步延迟检测方法中语句同传延迟的示意图，该示意图以第一语句和第二语句均为语音，以源语种为汉语，目标语种为英语为例。如图所示，如箭头所指分别为第一语句的频谱图、第一语句的识别结果、第一语句的翻译结果、第二语句的频谱图、第一语句的时间长度和第二语句的时间长度。累计延迟即为第二语句的时间长度和第一语句的时间长度的差值。

其次，基于语句同传的延迟，统计得到篇章同传延迟。也即统计由篇章同传切分成的全部语句对同传的语句同传延迟，计算全部语句对的语句同传延迟的算数平均值即为篇章同传延迟。

例如，一个篇章同传可以切分成六个语句对同传，假设第一语句对和最后一个语句对的比例为30％，则剩余四个语句对的比例为10％，则第一语句对语句同传延迟的30％、最后一个语句对语句同传延迟的30％以及剩余语句对语句同传延迟的10％的累加和，即为篇章同传延迟。

同时，还可以根据篇章同传延迟数据对同传过程进行延迟评价。即可以赋予各种篇章延迟数据以一定的分值系数，计算篇章同传延迟的得分，与预设分数阈值进行比较，进而评价该篇章同传延迟。例如，篇章同传延迟中帧级延迟、累积延迟、句首延迟和句尾延迟数值均为5；帧级延迟的分值系数为5，累积延迟、句首延迟和句尾延迟的分值系数均为3；预设分数阈值为80；篇章同传延迟的得分为（5*5+5*3*3＝70），小于80，故该篇章同传延迟满足要求。

因此，一方面在同传过程中，该方案对于篇章级的延迟检测，通过先检测语句级的同传延迟，能够细化同传延迟的检测粒度，且语句级的同传延迟又进一步包括帧级延迟，从而能够进一步细化检测粒度至帧级，进而能够有利于大大提升同传延迟检测的精度。另一方面，由于无需人工统计延迟，在同传过程中机器即可自动检测同传延迟，相较于人工检测有助于大幅减少检测时间和检测成本。

如上图，为获取帧级延迟的流程示意图，首先，获取语句对的语句判断结果，包括语句对是否为同传过程的首对同传语句。其次，基于语句对的语句判断结果和语句对中各个语句帧对的延迟时间，得到语句对的帧级延迟。

具体而言，可以基于语句判断结果，获得语句对的影响因数。影响因数表示当前语句对的参考语句对给当前语句对造成同传延迟的影响程度，参考语句对可以设置为在当前语句对之前的紧接着当前语句对的一对已经完成同传过程的语句对。影响因数包括参考语句对给当前语句对造成同传延迟的影响时长，还可以包括参考语句对给当前语句对造成同传延迟的影响速率、影响准确率等等。

以上就是科大讯飞发明的同传延迟检测方案，该方案主要基于语句同传延迟，统计得到篇章同传延迟。能够自动检测同传延迟，相较于人工检测有助于大幅减少检测时间和检测成本。

关于嘉勤

深圳市嘉勤知识产权代理有限公司由曾在华为等世界500强企业工作多年的知识产权专家、律师、专利代理人组成，熟悉中欧美知识产权法律理论和实务，在全球知识产权申请、布局、诉讼、许可谈判、交易、运营、标准专利协同创造、专利池建设、展会知识产权、跨境电商知识产权、知识产权海关保护等方面拥有丰富的经验。

（校对/赵月）