Parakeet V3 vs Whisper: в 10 раз быстрее, выше точность (Бенчмарк)

Почему мы сменили модель по умолчанию

Whisper — отличная модель, но она задумывалась как универсальный инструмент. Поддерживает 100+ языков, умеет переводить, расставлять таймстемпы — настоящий швейцарский нож. Расплата за это — скорость. Для диктовки на английском, когда тебе просто нужны слова на экране как можно быстрее, это перебор.

Вот что меня раздражало: при использовании системной диктовки через Fn с Whisper после минутного фрагмента приходилось ждать 3–5 секунд, пока появится текст. Эта пауза сбивает весь ритм. Перестаёшь говорить, ждёшь, смотришь на курсор — и вся магия голосового набора пропадает.

Parakeet всё изменил. Скорость настолько высокая, что текст появляется в тот момент, когда ты перестаёшь говорить. Говоришь — и слова просто уже там. Когда испытаешь это ощущение — мгновенный отклик без задержек — вернуться на Whisper уже очень сложно.

Насколько быстр Parakeet V3?

Цифры говорят сами за себя. Вот реальное сравнение на 35-минутном аудиофайле на одном и том же Mac:

В 10 раз быстрее. А поскольку модель меньше (600M против 800M параметров), она ещё и потребляет меньше памяти и батареи.

Почему Parakeet v3 такой быстрый

Whisper обрабатывает аудио так же, как ты бы читал книгу вслух — слово за словом, фрейм за фреймом, никогда не забегая вперёд. Даже во время тишины он продолжает обрабатывать и угадывать, что будет дальше. Это тщательно, но медленно.

Parakeet использует принципиально другой подход. Он сжимает аудиосигнал в 8 раз перед обработкой, так что модель видит только то, что важно. Дальше, вместо того чтобы перемалывать каждый отдельный фрейм, она предсказывает не только какое слово ты сказал, но и сколько оно длится — и перескакивает вперёд. Тишина? Пропускается целиком. Длинная гласная? Одно предсказание вместо десятков.

В итоге получается модель, которая обрабатывает речь так же, как твой мозг — фокусируется на словах, игнорирует паузы. Поэтому она в 10 раз быстрее при меньшем количестве параметров и более высокой точности.

Бенчмарки: Parakeet v3 против Whisper

Parakeet v3 не уступает или превосходит модели в 2-4 раза крупнее на бенчмарках FLEURS, CoVoST и MLS

На Hugging Face Open ASR Leaderboard Parakeet v3 возглавляет рейтинг с всего 600M параметрами — это меньше половины от 1.55B у Whisper Large V3:

Ниже WER = меньше ошибок. Выше RTFx = быстрее. Parakeet побеждает по обоим показателям. С 600M параметрами это ещё и самая компактная модель в списке — а значит, отлично работает на Apple Silicon с минимальным расходом памяти и батареи.

Многоязычный WER: все 25 языков

Таблица выше охватывает только английский. Вот полная картина — как три модели, доступные в Whisper Notes, сравниваются на всех 25 языках, которые поддерживает Parakeet, на бенчмарке FLEURS. Ниже WER = меньше ошибок транскрипции. Лучшее значение между Large V3 и Parakeet выделено в каждой строке:

WER (%) на FLEURS. Данные Whisper Small из Radford et al.; данные Large V3 и Parakeet V3 из статьи NVIDIA Canary-1B-v2.

Whisper Large V3 выигрывает на большинстве отдельных языков — он ведь в 2,5 раза крупнее. Но Parakeet V3 не уступает ему по среднему показателю (12,0% против 12,6%), уверенно побеждает на греческом, французском, эстонском и мальтийском, и разгромно обходит Whisper Small по всем направлениям (на 60% меньше ошибок в среднем). Суть не в доле процента WER — а в общей картине: точность уровня Large V3 при скорости в 23 раза выше, с 40% памяти, без галлюцинаций, и всё работает локально на твоём Mac.

Никаких галлюцинаций

Если ты использовал Whisper для диктовки, то наверняка сталкивался с галлюцинациями во время тишины — модель повторяет фразы, придумывает слова или выдаёт откуда-то «Subtitles by Amara.org». Это происходит потому, что авторегрессивный декодер Whisper всегда ожидает сгенерировать текст, даже когда распознавать нечего.

NVIDIA обучила Parakeet на 36 000 часах чистого не-речевого аудио (фоновый шум, кашель, тишина) с пустыми строками в качестве целевого текста. Модель научилась распознавать тишину и молчать. Для режима постоянной системной диктовки это кардинальное улучшение — больше никакого мусорного текста, когда ты делаешь паузу, чтобы подумать.

Какие языки поддерживает Parakeet

Parakeet v3 поддерживает 25 языков: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, русский, словацкий, словенский, испанский, шведский и украинский.

Это покрывает большую часть Европы, но модель не поддерживает китайский, японский, корейский, арабский и хинди. Поэтому мы оставили модели Whisper доступными для скачивания. Если ты диктуешь на японском или мандаринском, выбери Whisper Large V3 Turbo в переключателе моделей. Для английского и европейских языков Parakeet v3 — просто лучший движок.

Переключатель моделей: Parakeet V3 (по умолчанию), Whisper Small и Whisper Large V3 Turbo — всё работает локально

А как насчёт Parakeet V2?

Если вы использовали V2, возможно, вам интересно сравнение. V2 — модель только для английского, и её точность на английском чуть выше, чем у V3 (WER 6,05 % против 6,32 %). V3 обменивает эту крошечную разницу на поддержку 25 языков. Оба значительно точнее Whisper.

Коротко: если вам нужен только английский, и V2, и V3 отлично справляются. V3 установлен по умолчанию в Whisper Notes, потому что многоязычная поддержка важна большинству пользователей — а разница в точности английского ничтожна.

Попробуй

Parakeet v3 уже доступен в версии для Mac — просто скачай последний DMG. (Обновление: Parakeet теперь доступен и в последней версии для iOS.)

Вопросы или обратная связь? Пиши на support@whispernotes.app.

Скачать для iOS Скачать для macOS