学习专区 | Interprefy

AI 翻译字幕的准确性如何?

作者 Patricia Magaz | 2023年5月3日

一次 媒体消费行为的根本性变化 与人工智能技术的飞跃相结合,使 AI 翻译字幕成为各种规模现场活动的流行且强大的选择。Interprefy 于 2022 年推出了该功能,并且在 Microsoft Teams 以及 Zoom 上也可使用:自动生成的多语言实时字幕。本技术使得 用户能够理解,即使他们不懂演讲语言。

但是它们的准确度如何?没有简单的答案。结果高度取决于所选择的方法和使用的引擎、具体的语言组合以及音频的属性(说话者口音、音频质量等)。而简单的事实是,没有确定的衡量翻译准确性的办法。.

翻译行业的从业者以多种方式描述质量。当尝试提出客观衡量标准时,一组研究人员承认 他们甚至无法在如何定义"translation quality"上达成一致。

让我们更仔细地看看为什么翻译质量如此难以衡量,以及我们如何更接近衡量机器翻译字幕质量。. 

多语言自动字幕的工作原理

"Auto-translated"、"machine translated"和"AI-translated"字幕或"multilingual subtitles"是闭合字幕,为用户提供实时字幕,伴随不同语言的语音。它们被创建 从源音频出发,使用自动语音识别与机器翻译技术的组合来生成转录文本的译文,或使用直接将源语言音频转换为目标语言文本(甚至口语)的 AI 解决方案。

衡量翻译质量

语言极其复杂,翻译质量常常受到解释的影响。人们可能会认为质量问题出现在译者或机器出错时。然而,更常见的情况是,所谓的翻译质量问题实际上是一种主观评估。.

多维质量度量(MQM)框架,一个由欧盟委员会主导的项目,提供一种 "功能主义" 方法,对质量问题进行分类:

  • 准确性
  • 风格
  • 流畅性
  • 地区惯例
  • 术语等。.
     

正因如此,组织通常为译者提供风格指南、术语表,并理想情况下建立翻译记忆库,以确保其翻译作品的一致性,满足其需求。.

衡量翻译质量在于评估翻译的实用性以及其与目的的契合程度。. 

实时字幕的机器翻译质量

机器翻译已有超过60年的历史,如今机器与人类共存。但在过去的二十年里,语言服务提供商(LSP)、翻译机构和自由译者已采用机器翻译,以提升生产力并降低成本,这得益于机器翻译质量的快速提升。.

并非所有机器翻译引擎都相同

如今,市面上已有众多文本间翻译引擎可供使用,例如 Google 翻译、DeepL 翻译或 Microsoft 翻译器,同时也存在多种机器翻译类型:基于规则的、统计的、自适应的以及神经网络的。大多数服务已开始转向后者,因为神经机器翻译已被证明在生成极为满意的结果方面具有强大能力,并能快速弥合人类与机器在特定文本类型之间的差距。.

不同的翻译引擎和不同类型的机器翻译会产生不同的结果。某个引擎甚至可能在某一语言组合上表现出色,但在其他组合上却产生无效的翻译。.

实时与后期编辑需求

因为大多数书面翻译不必立即完成,网站或文档的机器翻译输出会在发布前由专业译者审阅并进行后期编辑。因此,拥有最佳引擎确实能节省时间,但并非必需。.

实时的多语言字幕仍需实时交付,且在用户阅读之前不容许人工干预。.

因此,关键在于使用性能最佳的引擎及其组合,并确保音频输入质量达到最佳。如果例如演讲者口音浓重且使用劣质麦克风,即使是最优秀的解决方案也可能产生不尽如人意的多语言字幕。.

Interprefy 方法:基准解决方案与优化输入音频

与其使用单一的机器翻译引擎,Interprefy 的 AI 交付团队持续对领先的翻译解决方案以及针对特定语言组合的语音识别与机器翻译方案组合进行基准测试。.

我们与世界领先的研究机构合作,开发并持续改进用于实时多语言字幕的专有自动基准测试流程。Alexander Davydov,Interprefy 人工智能交付主管

"我们使用大量多样的音频数据,并从各种翻译系统及其组合中获取输出,将其与专业译者的翻译进行比较、验证,并按准确度进行排名",亚历山大解释道。. 

下图展示了从同一源语言翻译的四种语言的基准测试结果。如您所见,没有任何单一解决方案能为所有四对语言提供一致的质量。.

但即使您拥有最先进的解决方案,如果输入质量低下,质量仍可能受影响。.

音质是影响 AI 输出质量、译员健康与表现能力以及观众理解和参与度的关键因素。这就是为什么 Interprefy 不断致力于通过为活动组织者和演讲者提供有用的指南,并为演讲者提供测试其音质的工具,甚至开发音频增强工具,Interprefy Clarifier。

此外,我们的专业团队与客户合作,优化系统,以确保品牌名称、缩写等准确无误。.