Whisper Large V3 Turbo vs V3：Mac 上快 5 倍（基准测试）

V3 Turbo vs V3：改了什么

Turbo 不是新架构。它就是 Whisper Large-v3，解码器从 32 层剪枝到 4 层，然后微调恢复精度。编码器完全不变。

Turbo 的训练数据明确排除了翻译任务。完整版 Large-v3 支持翻译，但 Whisper Notes 搭载的是 Turbo 而不是完整版 Large-v3——翻译在 Mac 上通过 Apple Intelligence 单独实现。

基础模型：Whisper Large V3 是什么？

Whisper Large V3 是 OpenAI 在 2023 年发布的开源语音识别模型，参数量 15.5 亿，使用 128 个 mel 频带，并在约 500 万小时音频上训练。官方模型卡列出 100+ 种语言，并把模型许可标为 Apache 2.0。想把它和其他设备端模型一起比较，可查看本地语音模型对比。

速度基准：Whisper Notes 在 Apple Silicon 上的表现

在 Mac 版 Whisper Notes 中，Turbo 通过 CoreML 在 Neural Engine 上运行。处理 10 分钟音频：

测试方法：在每台表中设备上，用同一版 Whisper Notes 转写同一个 10 分钟音频文件。从点击开始到最终文本完成计墙钟时间；V3 与 Turbo 之间只更换模型。

5 倍提速是 Whisper Notes 在 Apple Silicon 上的实测结果，较小的解码器在 Neural Engine 上优化效果更好。在 GPU 上使用 faster-whisper 等框架时，差距缩小到约 2.7 倍（见下方社区基准测试）。

关于表中 iPhone 和 iPad 两行需要澄清一点：那是在这些硬件上对模型本身的评测，不是 iPhone 版实际提供的模型清单。iPhone 版 Whisper Notes 不提供 Large V3 Turbo——这是有意的选择，原因见下文的分设备对照表。

精度对比：WER 词错率

Hugging Face Open ASR 排行榜在相同的英文数据集上测试了两个模型。Turbo 的词错率在每个基准上都与 V3 相差不到 0.5 个百分点：

V3 在每个数据集上都略微更准，但差距很小——平均仅 0.39 个百分点。在实际使用中，基本感受不到区别。

在 YouTube-commons 长音频评估（最大的开源 ASR 基准之一）上，Turbo 的 WER 为 13.40%，V3 为 13.20%——但 Turbo 的实时因子达到 129.5×，而 V3 仅 55.3×。速度快 2.3 倍，精度几乎相同。

Turbo 在韩语、俄语等语言上的准确率如何？

上面的基准都是英语。据 OpenAI 的模型卡，Turbo 裁剪到 4 层的解码器在非英语语言上牺牲的准确率比英语略多，低资源语言的退化最明显。对于俄语和大多数欧洲语言，Turbo 与完整版 Large-v3 差距不大——而且如果你用的是 Whisper Notes，Parakeet V3 以 Whisper 10 倍的速度覆盖俄语和另外 24 种欧洲语言。

至于韩语、日语、中文和粤语，专门的模型更快、标点也更好：SenseVoice 以 52 倍实时速度转录 CJK。Whisper Notes 在 iPhone 版和两个 Mac 渠道都提供 SenseVoice，Mac 上还同时提供 Turbo，你可以按语言选对模型，而不是所有语言都硬塞给同一个。

本地语音转文字，该用哪个模型？

Large-v3 Turbo 是你能在本地跑的最好的通用 Whisper 模型。但对大多数具体任务来说它都不是最优解，因为在 Apple Silicon 上它要和两个专用模型同台竞争，而这两个模型在各自的语言范围内都比它更强。Whisper Notes 里实际可用的是四个模型——Parakeet V3、SenseVoice Small、Whisper Small 和 Whisper Large V3 Turbo——选哪个几乎完全取决于你说什么语言、用什么硬件，而不是排行榜怎么排。

放在一起看是这样——下表里的每个数字，要么来自我们自己的 Apple Silicon 实测，要么来自表下注明的公开基准：

英语 WER 是 Hugging Face Open ASR 排行榜多个英语数据集的平均值。SenseVoice Small 和 Whisper Small 不在那一轮英语测试里，所以这两格留空，不做推测。在 25 种欧洲语言的 FLEURS 平均值上，Parakeet V3 为 12.0%，完整版 Whisper Large V3 为 12.6%，Whisper Small 为 29.8%；Turbo 没有在这组多语言测试中单独跑过。速度是我们自己在 Apple Silicon 上的墙钟时间，两个相对倍数除外——它们是相对完整版 Large-v3 的。下载体积和内存占用，在 M4 Pro 上的 Whisper Notes Mac 版中实测。

同一套模型，按设备给合身的尺寸

你实际能加载哪些模型，取决于你用的是哪个版本。Whisper Notes 有三个渠道——iPhone 版、Mac App Store 版和官网下载版（DMG）——模型清单接近，但并不完全一样：

最后一行是产品决策，不是遗漏。Turbo 下载约 1.6 GB，运行时还要占用约 1.6 GB 内存——在 Apple Silicon Mac 上这是合理的要求，在大多数 iPhone 上就不合理了：同样的存储和内存，换成另一套模型能跑得更快，而且在它们各自的语言里更准。所以 iPhone 版内置 Parakeet V3，并提供 Whisper Small 和 SenseVoice Small 作为可选下载：Parakeet 负责 25 种欧洲语言（英语词错率 6.32%），SenseVoice 负责 CJK 和粤语，Whisper Small 作为覆盖 101 种语言的兜底，占用也能舒服地放进手机的内存预算。按设备给合身的模型，而不是把同一个 1.6 GB 文件塞进每一台技术上装得下的设备。

上面每个模型也都有值得先了解的失效场景——诚实的那一版在下文的各个模型分别错在哪。想看所有设备端方案（包括 Whisper Notes 不搭载的模型）的横向对比，可查看设备端语音模型对比。

社区基准测试：GPU 与 CPU

来自 faster-whisper 和 whisper.cpp 社区的独立基准测试在不同硬件上显示了一致的结果。在 GPU 上使用 faster-whisper 转录 13 分钟音频：

数据来源：faster-whisper 在 NVIDIA GPU 上的基准测试，LibriSpeech clean 验证集。Turbo int8 仅需 1.5 GB 显存——2 GB 显卡也能跑。

在 RTX 3060 笔记本（6 GB 显存，int8 精度）上进行批量推理，优势更加明显：

数据来源：NilaierMusic 基准测试，Intel i7-12650H + RTX 3060 笔记本 6 GB 显存，法语音频，int8 精度。

批量推理下，Turbo 在所有测试模型中 WER 最低（7.7%），同时速度最快。是生产环境的最佳选择。

Turbo、Medium 与其他 Whisper 型号

Turbo 出现之前，Medium 通常是速度和准确率之间的折中。Turbo 只有 8.09 亿参数，和 Medium 的 7.69 亿很接近，却能提供接近 Large V3 的准确率，并在 Apple Silicon 上约快 5 倍。

官方模型卡给出的 Turbo 参数量为 809M。它在与 Medium 接近的体积下，提供更高准确率和更快转写速度。

这张表里 Whisper Notes 只搭载两行——Whisper Small 和 Whisper Large V3 Turbo。tiny、base 和 medium 是有意省掉的：在 Apple Silicon 上，它们每一个都被阵容里的别的模型压住了。你本来会用 tiny 或 base 的场景，Parakeet V3 更快也准得多；本来会用 medium 的场景，Turbo 在相近体积下做得更好。Whisper Small 之所以留下，是因为没有别的模型能用不到 500 MB 内存覆盖 101 种语言。

已知局限（以及 Whisper Notes 的应对方案）

各个模型分别错在哪

这套阵容里的每个模型都有真正不擅长的地方，一份诚实的清单比再来一张基准表更有用。Whisper——Small 和 Large V3 Turbo 都一样——会在静音处产生幻觉。它的解码器是自回归的：不管还有没有声音可听，它都会去预测下一个 token，于是一段安静可能被还原成重复的短语、一句莫名其妙的字幕署名，或者一个流畅但没人说过的句子。在极短或高噪音的片段上，Turbo 的 4 层解码器比完整版 Large-v3 更容易出现这种情况。语音活动检测能消掉其中大部分——它从一开始就不把静音送进模型；在我们的静音测试里，Parakeet V3 编造出来的词也少得多。但没有哪个语音模型配得上“绝不”两个字，在你真的依赖一份转录稿之前，还是应该先读一遍。

Parakeet V3 有一道硬的 25 语言天花板，而且这 25 种全是欧洲语言。没有中文、日语、韩语、粤语、阿拉伯语、印地语、泰语或希伯来语——而且当音频飘出它的支持范围时，它不会提醒你，只会一本正经地输出胡话。SenseVoice Small 的范围更窄：英语、简体与繁体中文、粤语、日语、韩语，仅此而已。在它被设计来处理的素材上，它是这里最快的模型；在别的一切上，它是错的工具。Whisper Small 最省资源，也最不准——在 25 种欧洲语言的 FLEURS 测试中平均词错率 29.8%，Parakeet V3 是 12.0%，差距最先体现在专有名词、专业词汇和带口音的语音上。

而且它们都要花掉存储和硬件。这些是落在你磁盘上的真实文件，不是一次 API 调用：Turbo 下载约 1.6 GB，转录时占用约 1.6 GB 内存；SenseVoice Small 827 MB，Whisper Small 600 MB，Parakeet V3 465 MB。整套阵容只在 Apple Silicon 上运行——Mac 需要 macOS 14 及以上、M1 及更新的芯片，iPhone 需要 iOS 18 及以上。没有 Intel Mac 版，没有 Windows 版，也没有 Android 版；而且这里没有任何一个模型做实时转录：Whisper Notes 是在你停止录音之后处理这段录音，而不是边说边出字。

Whisper Large V3 Turbo 常见问题

想横向比较 Whisper、Parakeet V3、SenseVoice 和 Voxtral，可查看设备端语音模型对比；第一次接触 Whisper，可以从Whisper 转录指南开始。

下载 iOS 版 下载 macOS 版