Parakeet V3 vs Whisper: 7x brži, veća točnost (Benchmark)

Zašto smo promijenili zadani model

Whisper je odličan, ali je dizajniran kao univerzalni alat. Podržava više od 100 jezika, prevodi, generira vremenske oznake — pravi švicarski nožić. Cijena za to je brzina. Za diktiranje na engleskom, kad jednostavno želiš riječi na ekranu što brže, to je previše.

Kad je sistemsko diktiranje preko Fn tipke radilo s Whisperom, minutni govor pojavio bi se tek 3–5 sekundi nakon što pustiš tipku.

S Parakeetom se isti govor pojavi za otprilike sekundu ili manje, dovoljno brzo da prestaneš primjećivati čekanje.

Koliko je brz Parakeet V3?

Evo dva naša mjerenja — oba modela na istom zvuku, na istom Macu:

Na slabijem stroju razlika ostaje. Na našem M5 Airu Parakeet je 17,5-minutni sastanak obradio za 16,7 sekundi, otprilike 60× brže od stvarnog vremena.

Što Parakeet v3 čini tako brzim

Whisperov enkoder čita odjednom prozor od 30 sekundi zvuka. Dekoder zatim piše transkript token po token i uvijek očekuje da nešto napiše, čak i preko tišine.

Parakeet je transducer. Najprije komprimira zvuk 8×, a zatim predviđa svaki token zajedno s time koliko dugo traje, pa može skočiti naprijed umjesto da prolazi kroz svaki okvir. Na tišini ispiše „blank“ i ide dalje.

Odatle dolaze i brzina i mirnije pauze. Na M4 Pro obradi sat vremena zvuka za manje od minute, s manje parametara od Whisper Large V3 Turbo i nižom stopom pogreške na engleskom.

Benchmarkovi: Parakeet v3 vs. Whisper

Niže je bolje: Parakeet V3, manji od pola veličine Whisper Large V3, na sva tri benchmarka ostaje unutar jednog boda od njega, a veći Seamless M4T v2 ima najniže rezultate.

Na Hugging Face Open ASR Leaderboard ljestvici, Parakeet v3 ima prosječni engleski WER od 6.32% uz 600M parametara — to je manje od polovice 1.55B koliko ima Whisper Large V3:

Niži WER = manje grešaka. Viši RTFx = brže. Parakeet je ispred u oboje, a sa 600M parametara najmanji je od tri modela, pa dobro radi na Apple Siliconu bez puno memorije.

Višejezični WER: svih 25 jezika

Gornja ljestvica pokriva samo engleski. Evo cjelovite slike — kako se tri modela dostupna u Whisper Notes uspoređuju na svih 25 jezika koje Parakeet podržava, mjereno na benchmarku FLEURS. Niži WER = manje grešaka u transkripciji. Najbolja vrijednost između Large V3 i Parakeet istaknuta je u svakom retku:

WER (%) na FLEURS. Podaci za Whisper Small iz Radford et al.; podaci za Large V3 i Parakeet V3 iz NVIDIA Canary-1B-v2 članka.

Whisper Large V3 vodi u većini pojedinačnih jezika, ali Parakeet V3 je u prosjeku vrlo blizu (12.0% naspram 12.6%), vodi na sedam od njih, najizraženije na malteškom i grčkom, a prosječnu stopu pogreške Whisper Smalla smanjuje za oko 60%. Praktična prednost leži u kombinaciji: višejezična točnost na razini Large V3 uz otprilike 60× brže od stvarnog vremena na Apple Siliconu, manji memorijski otisak pri radu i znatno pouzdanije ponašanje na tišini u našim testovima diktiranja.

Zašto manje halucinira na tišini

Ako si koristio Whisper za diktiranje, vjerojatno si vidio kako halucinira tijekom tišine — ponavlja fraze, izmišlja riječi ili iz ničega izbaci „Subtitles by Amara.org“. To se događa jer autoregresivni dekoder Whispera uvijek očekuje da će generirati tekst, čak i kad nema ništa za transkribirati.

Parakeetova transducer arhitektura može emitirati prazne izlaze umjesto da forsira tekstualni token. U našim testovima sistemskog diktiranja to ga čini znatno manje sklonim od Whispera da pauzu popuni ponovljenim ili nepovezanim tekstom. I dalje je riječ o govornom modelu, pa je točna tvrdnja „znatno manje vjerojatno“, a ne „nikad“.

Koje jezike Parakeet podržava

Parakeet v3 podržava 25 jezika: bugarski, hrvatski, češki, danski, nizozemski, engleski, estonski, finski, francuski, njemački, grčki, mađarski, talijanski, latvijski, litavski, malteški, poljski, portugalski, rumunjski, ruski, slovački, slovenski, španjolski, švedski i ukrajinski.

To pokriva veći dio Europe, ali ne i kineski, japanski, korejski, arapski ili hindi. Za kineski, japanski, korejski i kantonski odaberi SenseVoice; za arapski, hindi i druge jezike izvan Parakeetova skupa koristi Whisper Large V3 Turbo. Koji model podržava određeni jezik, provjeri na našoj stranici s jezicima koje podržavaju Whisper, Parakeet V3 i SenseVoice.

Parakeet V3 je ugrađen i odabran; Whisper Small i Whisper Large V3 Turbo neobavezna su preuzimanja koja također rade lokalno.

A što s Parakeet V2?

Ako si koristio V2, možda se pitaš kako se uspoređuju. V2 je bio model samo za engleski — a njegova je točnost na engleskom zapravo nešto bolja od V3 (WER 6.05% naspram 6.32%). V3 tu sitnu razliku mijenja za podršku za 25 jezika. Oba su znatno točnija od Whispera.

Ukratko: ako ti treba samo engleski, i V2 i V3 su izvrsni. V3 je zadani model u Whisper Notes jer je višejezična podrška važna većini korisnika — a razlika u točnosti engleskog je zanemariva.

A što s WhisperKitom?

WhisperKit je Argmaxov open-source Swift framework za pokretanje Whisper modela na Apple uređajima. To je alat za developere, a ne aplikacija za krajnje korisnike — i pokreće Whisper, a ne Parakeet (koji je NVIDIA-ina obitelj modela). Ako želiš on-device transkripciju u stilu WhisperKita bez pisanja Swifta, Whisper Notes istu ideju pakira u gotovu aplikaciju: Parakeet V3, Whisper (Large V3 Turbo na Macu, Small na iPhoneu) i SenseVoice, svi rade lokalno na Macu i iPhoneu.

Uspoređuješ sve lokalne opcije? Svaki on-device model za pretvaranje govora u tekst — Whisper varijante, Parakeet V3, SenseVoice i Voxtral — uspoređen je jedan uz drugi na našoj stranici za usporedbu Whisper modela. Whisper ti je nov? Kreni od vodiča za transkripciju s Whisperom — što je taj model, svi načini da ga pokreneš i koliko košta.

Često postavljana pitanja

Isprobaj

Parakeet V3 je zadani engine u Whisper Notes na iPhoneu i Macu.

Pitanja ili povratne informacije? Piši na support@whispernotes.app.

Preuzmi za iOS Preuzmi za macOS