在你电脑上运行的会议实时翻译功能

这里介绍 AI Translator 目前能做的事,与应用中的实际表现完全一致。只有付费套餐才有的功能都会明确标出。

设备端 AI

AI 翻译,无需把会议放到云端

两个 AI 模型,一个负责语音识别,一个负责翻译,直接在你的电脑上运行。没有任何环节会把你的音频或会议内容发送到服务器或云端 AI 服务。

许多云端翻译工具的工作方式
  1. 你的电脑会议音频
  2. 互联网
  3. 服务商的服务器以及云端 AI
  4. 互联网
  5. 字幕传回你的电脑

会议音频离开你的电脑,在你无法控制的地方被处理。

AI Translator
  1. 音频在你的电脑上
  2. 在你电脑上运行的 AI语音识别 + 翻译
  3. 字幕显示在你的屏幕上

不经过云端:音频、转写内容和译文都留在你的电脑上。

两个在本地运行的 AI 模型

一个模型识别语音,一个模型负责翻译。两者都只需下载一次,之后利用 GPU 或 CPU 在你的电脑上运行。

不绕路,所以延迟低

不需要往返服务器,说话人说完一句话后译文很快就会出现。在 Mac M4 Pro 上中位数低于 1.1 秒;测试条件见下方的“性能”部分。

对话数据留在你的电脑上

音频只存在于 RAM 中;转写文本和译文留在你的电脑上。历史记录默认关闭,开启后也会在你的电脑上加密保存。

实时翻译

收听、识别、翻译、显示字幕,一气呵成

AI Translator 采集电脑上播放的音频,把它切分成句子,识别语音,进行翻译,再把结果显示在字幕条上。在 Mac M4 Pro 上,说话人说完一句话后约 1 秒(中位数)就会显示完整译文;其他电脑可能更慢,请查看测量数据。

  • 源音频和译文都支持五种语言:英语、中文、日语(日本語)、韩语(한국어)、越南语(Tiếng Việt)。我们计划在未来增加更多语言(暂无时间表)
  • 在你于会议中使用的语言里勾选的语言中自动检测正在说的语言;如果你知道会说哪种语言,也可以在源语言中固定为一种
  • 已经是你想阅读的语言的句子会直接显示,不会再翻译一遍
  • 尚未定稿的句子颜色较浅,说话人继续说下去后会被完整的句子替换
  • 过滤语音识别在音乐或静音时容易“编造”出来的“幻影”句子
  • 识别出的中文会转换为简体字
带有语言卡片的 AI Translator 主页:目标语言和会议中使用的语言
语言卡片:选择你想阅读的语言,以及会议中可能使用的语言。

字幕是单向的:从会议到你。

AI Translator 把电脑播放出来的音频翻译成你的语言,目前还不能把你自己的声音翻译给会议中的其他人。要在聊天中用文字回复,请使用输入翻译:你用自己的语言输入,应用会把译文粘贴到聊天框中。如果双方都安装了应用,每个人都能看到对方的字幕。

字幕条

可自定义的悬浮字幕条,不妨碍你开会

字幕条是一个独立的无边框窗口,背景半透明。它始终置顶,从不抢走会议应用的焦点,所以你可以像平时一样在聊天中打字或点击按钮。

  • 拖动即可移动,拖动边缘或角即可调整大小;每个屏幕都会记住它的位置和大小
  • 字号 14–48 px,5 种文字颜色(白、黄、绿、浅蓝、橙),5 种背景颜色,背景不透明度 0–100 %
  • 锁定:鼠标点击会穿过字幕条,也不会有按钮挡路;用快捷键或托盘菜单解锁
  • 保留最近 1,000 句;用鼠标滚轮或快捷键回看,按最新按钮回到当前句子
  • 在译文上方以小字显示原文(默认开启,可以关闭)
  • 角落里的小提示:检测到声音正在收听、正在加载模型、处理跟不上、剩余翻译时间不足 5 分钟
大字号、藏青色背景上显示黄色文字的字幕条
同一个字幕条,改为黄色文字、藏青色背景、字号 26。
字幕设置:例句预览、字号、文字颜色、背景颜色、背景不透明度以及显示原文的选项
设置 › 字幕:预览和字幕条会立即更新。
音频设置:音频来源选择器(设为仅 Zoom)以及刷新正在播放声音的应用列表的按钮
设置 › 音频:收听整个系统,或只收听一个应用(macOS)。
音频来源

任何会议应用,无需机器人,无需插件

由于应用采集的是系统音频,AI Translator 适用于任何能发出声音的内容:Zoom、Microsoft Teams、Google Meet、Zalo PC、网络研讨会、视频和在线课程。

  • macOS:收听整个系统(应用本身除外),或只收听一个正在播放声音的应用,这样其他应用的提示音就不会被误翻译
  • Windows:默认播放设备,或你选择的设备
  • 切换播放设备时(例如插上耳机或连接蓝牙),音频来源会自动重新打开
  • 结束一句话的停顿可在 50 到 800 ms 之间调整:越短字幕出现越快,越长句子越不容易被截断

在 macOS 上,第一次点“开始”时,系统会请求录制系统音频的权限。应用不使用麦克风。查看如何授予音频权限。Windows 不需要这项权限。

转写记录、历史记录和导出

按你的方式保存听到的内容

当前会话的转写记录适用于所有套餐。保存历史记录和导出到文件是 Pro 功能。

带有时间、原句和译文的转写记录,以及搜索框、全部复制按钮和导出格式选择器
转写记录:搜索、复制、导出为 TXT、SRT 或 Markdown。
  • 转写记录:每一行都有时间、原句和译文;所有套餐都可以搜索和全部复制
  • 导出为 TXT、SRT 或 Markdown;导出 SRT 时可以选择文本使用译文还是原文 Pro
  • 会话历史:逐个查看、打开和删除会话,或一次全部删除 Pro
  • 历史记录默认关闭。开启后会加密保存在你的电脑上,密钥保存在钥匙串(macOS)或凭据管理器(Windows)中
  • 一键从这台电脑上删除历史记录和术语表(需确认;另有一个按钮也会删除模型),所有套餐都可用
历史记录页面,列出已保存的会话及其日期和时间、分钟数、句子数和预览
历史记录:保存在你电脑上的会话。
术语表:成对的原文术语和译文,以及导入和导出 CSV 的按钮
术语表:添加、编辑、删除、导入和导出 CSV。
术语表 Pro

把人名和术语作为提示交给翻译

为产品名、合作伙伴名称和行业术语添加“原文 → 译文”对。当句子里出现其中某个词时,应用会把它作为提示交给翻译。

  • 最多 500 条,支持 CSV 导入和导出(两列,UTF-8)
  • 匹配时不区分大小写;中文、日语和韩语术语在词语中间也能匹配
  • 每句话最多使用 20 条相关条目

术语只是给翻译的提示,所以不能保证每次都用得正确。应用中也是这样说明的。

输入翻译

就在你正在用的聊天框里,用对方的语言聊天

在你正在使用的应用的聊天框中按 ⌃ + ⌥ + G(Windows:Ctrl + Alt + G)。在悬浮的输入框中用自己的语言输入,译文会立即显示在下方。按 Enter 把译文粘贴到聊天框中,检查后再按一次 Enter 发送。

  • 翻译成你交谈对象的语言(取自你的字幕设置),或你选择的语言
  • 所有有效套餐都包含,试用期间的 Free 也可以用,而且不消耗翻译时间
  • 在你的电脑上翻译:你输入的内容和译文从不离开电脑
  • 使用你平常的键盘和输入法输入;如果翻译失败,应用绝不会粘贴你的原文

在 macOS 上,自动粘贴需要辅助功能权限;没有该权限时,应用会复制译文,你可以用 ⌘V 粘贴。请查看输入翻译指南。

输入翻译框:上方是中文消息,下方是英文译文
输入翻译框:按 Enter 把译文粘贴到聊天框中。
快捷键和系统托盘

不离开会议就能控制

六个全局快捷键即使在 AI Translator 不是前台窗口时也能使用。每个快捷键都可以在“设置 › 快捷键”中更改。

操作macOSWindows
开始或停止翻译⌃ + ⌥ + TCtrl + Alt + T
显示或隐藏字幕⌃ + ⌥ + HCtrl + Alt + H
锁定或解锁字幕⌃ + ⌥ + LCtrl + Alt + L
向上滚动字幕(较早的句子)⌃ + ⌥ + PageUpCtrl + Alt + PageUp
向下滚动字幕(较新的句子)⌃ + ⌥ + PageDownCtrl + Alt + PageDown
打开或关闭输入翻译框⌃ + ⌥ + GCtrl + Alt + G

在 macOS 上,⌃ 是 Control,⌥ 是 Option。快捷键至少要包含 Ctrl、Alt 或 Cmd/Win 中的一个。

通过菜单栏图标(macOS)或系统托盘图标(Windows),可以开始或停止翻译、显示或隐藏和锁定字幕,以及打开主窗口。关闭窗口只会把应用隐藏到托盘;要完全退出,请选择退出。

快捷键设置,显示 macOS 上的六个默认快捷键
设置 › 快捷键:点“更改”,然后按下新的组合键。
模型和你的电脑

两种模型包,应用会推荐适合的一种

识别和翻译模型只需下载一次,之后完全在你的电脑上运行。应用会检查你的内存、可用磁盘空间和显卡,然后推荐一种模型包。

项目Standard 模型包Lite 模型包
下载大小约 2.5 GB约 1.3 GB
运行时内存(M4 Pro)约 2.9 GiB约 1.8–1.9 GiB
应用推荐用于16 GB 或以上的 Mac;16 GB 或以上、带 6 GB 显存独立显卡的 Windows8 GB 到不足 16 GB 的电脑,或没有合适独立显卡的 Windows

Lite 模型包在越南语、日语、韩语和中文上的语音识别不如 Standard 清晰。如果你经常听这些语言,请选择 Standard 模型包。

macOS
macOS 14.2 或更高版本,Apple 芯片(M1 或更新)
没有 Intel Mac 版本
内存
至少 8 GB,建议 16 GB
磁盘
在要下载的模型大小之外,至少还需 1 GB 可用空间
Windows
Windows 10/11 64 位(x64),支持 AVX2 的 CPU
Standard 模型包建议使用 6 GB 或以上显存的独立显卡。尚未进行代码签名,所以安装时 SmartScreen 可能会发出警告;Windows 上的延迟只在一台使用集成显卡的笔记本上做过初步测试,比 Mac M4 Pro 慢(见“性能”)
性能

真实测量数据,附测试条件

我们只公布实际测得的数据,并说明是在哪台机器上测的;没有测试过的机器,我们也会如实说明。

测量项目(Mac M4 Pro 24 GB,macOS 26,Apple GPU)Standard 模型包Lite 模型包
延迟中位数(p50):从说话人说完一句话到完整译文出现0.76–1.03 秒0.61–0.84 秒
p90 延迟0.94–1.34 秒0.73–1.14 秒
第一个译词出现(p50)0.63–0.69 秒0.52–0.57 秒
运行时内存2.9 GiB1.8–1.9 GiB

长时间会话

一次连续 5 小时 23 分的会话(英语讲座视频,临时签名的发布版本):6,019 个片段,没有错误,延迟中位数 0.48 秒。在 2 小时的稳定性测试中,没有任何组件重启。

翻译和识别质量

在一项内部测试中,我们通过应用自己的翻译流程测试了八个涉及越南语的方向,Standard 模型包的翻译模型在自动翻译质量评分(0 到 1,见下表)上平均约 0.84。翻译模型是在另一套测试集上比较多个模型后选出的。在清晰的朗读语音上,Standard 模型包的越南语识别词错误率为 8.7 %。这是朗读语音,不是真实的会议对话。

各方向的翻译和识别质量

自动翻译质量评分通过应用自己的翻译流程测得(与实际使用的设置相同),每个方向 100 句(越南语 → 中文、日语、韩语为 40 句)。这是 0 到 1 的相对分数,越高越好;它不是准确率百分比。

方向(文本)Standard 模型包Lite 模型包
英语 → 越南语0.8420.841
中文 → 越南语0.8290.831
日本語 → 越南语0.8300.815
한국어 → 越南语0.8340.822
越南语 → 英语0.8210.822
越南语 → 中文0.8360.821
越南语 → 日本語0.8470.845
越南语 → 한국어0.8510.842
语音识别(错误率,越低越好)Standard 模型包Lite 模型包
英语(词错误)5.4 %6.6 %
越南语(词错误)8.7 %22.5 %
中文(字错误)5.6 %9.6 %
日本語(字错误)4.5 %13.1 %
한국어(字错误)4.1 %8.2 %

如何解读:翻译测试集偏向日常口语,所以只能粗略反映会议用语;识别是在清晰的朗读语音(每种语言约 15 分钟)上测得的,不是真实的会议对话;在模拟窄带音频(类似通话模式下的蓝牙耳机)的测试中错误率会上升,我们没有测试过真实的耳机。上面八个方向都涉及越南语;英语、中文、日本語和한국어之间的其他 12 个方向可以使用,但还没有质量评分。Lite 模型包识别越南语、日语、韩语和中文的准确度明显较低。

我们没有测量、也不承诺的内容

上面的所有数据都在同一台 Mac M4 Pro 上测得,断句停顿设为 300 ms(应用当前的默认值是 50 ms;5 小时的会话使用的是默认值)。我们没有测量:M1 Mac、8 GB 内存的电脑、Windows 独立显卡、电池和功耗、真实会议对话或蓝牙耳机下的准确度,以及不涉及越南语的方向的翻译质量(可以使用,但没有可公布的质量评分)。在一台 Windows 笔记本(Core i5-1345U,集成显卡,32 GB 内存,Windows 11;每种设置 6 次会话,每次 17–23 句)上的初步测试中,Lite 模型包的延迟中位数为 1.3–2.6 秒,Standard 模型包为 2.7–5.4 秒,没有达到我们的延迟目标。这台笔记本比我们的最低配置更强,所以这些不是弱配置电脑上的数据。

按套餐

各功能包含在哪些套餐中

功能Free(试用)Monthly6 MonthsYearly
实时翻译字幕,5 种语言有有有有
可自定义的字幕条、快捷键、托盘有有有有
查看、搜索和复制转写记录有有有有
术语表(最多 500 条)无有有有
保存会话历史无有有有
导出为 TXT、SRT、Markdown无有有有
翻译时间每天 30 分钟,共 10 天每 30 天 50 小时180 天内每 30 天 100 小时365 天内不限时长
价格(VietQR,VND)0 ₫50,000 ₫269,000 ₫500,000 ₫
价格(国际银行卡,USD,不含税)—US$3.99US$21.99US$39.99

查看完整价格详情

在真实会议中试试看

免费试用 10 天,每天 30 分钟。无需银行卡,无需账号。