Offline Beszédfelismerés: Legjobb Helyi AI Átíró Szoftver

A Whisper Notes az eszközön végzi a beszédfelismerést, Macen és iPhone-on egyaránt.

A rövid válasz: a legjobb offline beszédfelismerő platformonként

Ha csak a válaszra kíváncsi: Mac-en és iPhone-on használja a Whisper Notes-t — három helyi AI-motor, egyszeri díjért: iPhone-on egyszer 7,99 $ (ugyanez az App Store-vásárlás a Mac App Store-os verziót is feloldja); Mac-en hetente 5 000 szó ingyenes, utána egyszer 14 $. Windowson a Buzz vagy a faster-whisper a jó választás (ingyenes, nyílt forráskódú). Androidon a kínálat még szűkös — lásd lentebb a platformokról szóló részt. A táblázat minden eszköze 100%-ban offline fut:

Az útmutató további része elmagyarázza, miért nyer a helyi átírás késleltetésben, költségben és adatvédelemben — valódi mérési számokkal —, és lépésről lépésre bemutatja, hogyan írhat át hangot szöveggé offline.

A késleltetés problémája

A felhőalapú átírás folyamata: Ön beszél, a hang feltöltődik egy szerverre, az API feldolgozza, az eredmény visszaérkezik.

A helyi átírásnál ez a késleltetés teljesen eltűnik. A hang soha nem hagyja el az eszközét, a feldolgozás a chipen történik, az eredmény azonnal megjelenik. Nincs feltöltés, nincs várakozás, nincs pörgő „feldolgozás” jelző.

Az újabb iPhone-ok és az Apple Silicon Mac-ek dedikált Neural Engine hardvert tartalmaznak az eszközön futó gépi tanuláshoz. A helyi átírás olyan hardvert használ, amely már az Öné, ahelyett hogy feltöltésre és távoli válaszra várna.

2019-ben a felhőalapú átírásnak volt értelme. A telefonja nem tudott milliárd paraméteres neurális hálózatot futtatni. Ez a korlát megszűnt. Egy M4 Pro a Parakeet V3-mal nagyjából 18 másodperc alatt, a Whisper Turbóval körülbelül három perc alatt végez 35 percnyi hanganyaggal, mindkét esetben feltöltés nélkül.

A felhőalapú átírásnak élő együttműködésnél és központosított munkafolyamatoknál továbbra is van létjogosultsága. Egy privát felvételnél, amelyre csak Önnek van szüksége, a feltöltés gyakran felesleges.

A chipet már egyszer kifizette

Egy M-chipes Mac vagy egy újabb iPhone Neural Engine-je a nap nagy részében tétlen, pedig képes futtatni ezeket a modelleket.

Ezt a szilíciumot már kifizette, amikor megvette a gépet; ha előfizet arra, hogy más szerverein írják át a hanganyagát, másodszor fizet olyan számítási kapacitásért, amely már az Öné.

Ennek a cserének addig volt értelme, amíg a helyi futtatás valóban lehetetlen volt. Ma már nehezebb mellette érvelni.

Három év alatt egy havi $10-os előfizetés $360-ba kerül. A Whisper Notes iPhone-on egyszeri $7.99, Macen egyszeri $14. Az előfizetés valójában élő feliratozást és közös szerkesztést vásárol; ha egyikre sincs szüksége, olyan számítási kapacitásért fizet, amely már az Öné.

Azért nem kérünk előfizetést, mert nem üzemeltetünk szervereket. A hangja soha nem érinti az infrastruktúránkat. Nincs, amiért havonta számlázhatnánk.

Az adatszivárgás architekturális kérdés

Amikor felhőalapú átírási szolgáltatást használ, a hangja valaki más szerverein él. Minden szerver, amely hangot tárol, kiszivárogtathatja azt — támadás, hibás beállítás vagy hozzáféréssel rendelkező alkalmazott miatt —, és szivárgások valóban előfordulnak.

A hangadatok egyedi kockázatot hordoznak. A jelszóval ellentétben a hangját nem tudja visszaállítani. A hangmintázata állandó biometrikus azonosító. Ha egyszer kiszivárog, örökre kompromittálódik. A támadók a hanglenyomatot hitelesítés megkerülésére, személyazonosság-lopásra vagy deepfake-ek készítésére használhatják.

Ezt a kockázatot egyetlen módon lehet megszüntetni: ha megszűnik a feltöltés. Az a hang, amely soha nem hagyja el az eszközét, nem lehet része egy szerveroldali adatszivárgásnak — ennyi az egész érvelés.

Gondolja végig, kik rögzítenek érzékeny hanganyagot:

• Ügyvédek, akik ügyfélkonzultációkat rögzítenek
• Terapeuták, akik pácienseik üléseit dokumentálják
• Újságírók, akik a forrásaikat védik
• Vezetők, akik stratégiai megbeszéléseket rögzítenek
• Orvosok, akik kórtörténeteket jegyzetelnek

Ezeknek a szakembereknek tudniuk kell, hol tárolják a hanganyagukat. A helyi átírás számukra nem preferencia, hanem követelmény.

Pontosság és kompromisszumok

Amiben a helyi Whisper jobb: a szó szerinti átírás. Ha pontos jegyzőkönyvre van szüksége arról, mi hangzott el — minden szó, minden szünet, minden „hm” —, a helyi Whisper-modellek kiválóak. Tiszta angol hanganyagon a szóhibaarány nagyjából 5-8% (Open ASR Leaderboard); zaj és akcentus mellett magasabb. Az átirat hűen követi az elhangzottakat.

Amit egy nyelvi modell hozzátesz: az összefoglalás és a kinyerés. Egy helyi modell, például a Gemma, amelyet a Whisper Notes a weboldalunkról letöltött Mac-appban futtat, az átiratból összefoglalót és teendőlistát készít. A nagyobb felhős modellek a hosszú, rendezetlen átiratokat még mindig jobban értelmezik, így egy kétórás megbeszélés után a „mondd el, milyen döntések születtek” kérdésre ők az erősebb eszköz.

A kompromisszum valós. Ha a munkafolyamata az „átírás → összefoglalás Claude-dal/GPT-vel”, mindkét világ legjavát kapja: pontos helyi átirat, intelligens felhőalapú összefoglaló. A nyers hangja privát marad. Csak az a szöveg hagyja el az eszközét, amelyet Ön megoszt.

A helyi AI nem oldja meg a munkafolyamat minden részét. A beszédmodellek az átírásban jók; az eredmény összefoglalásában és értelmezésében a nyelvi modellek a jobbak. Tartsa helyben a hangot, majd a szöveg érzékenysége szerint válasszon helyi vagy felhőalapú nyelvi modellt.

Valódi sebességadatok

A modellválasztás többet változtat az eredményen, mint amit a „helyi” szó sugall. A Whisper Notes mindhármat futtatja Mac-en és iPhone-on, a motort pedig a Beállításokban választhatja ki; a Parakeet a gyors alapértelmezés angolhoz és az európai nyelvekhez, a SenseVoice kínaira, japánra, koreaira és kantonira van optimalizálva, a Whisper Large-v3 Turbo (Mac) / Whisper Small (iPhone) pedig a legszélesebb, több mint 100 nyelvű lefedettséget nyújtja.

Módszertan: Whisper Notes egy 32 GB RAM-mal szerelt Apple M4 Pro gépen; a mért idő az átírás indításától a kész szövegig eltelt valós idő. A Parakeet 35 perces felvételt kapott; a SenseVoice és a Whisper ugyanazt a 27 perces kínai podcastot. Ezek terméktesztek, nem gyártók közötti felhő-benchmarkok.

A jelenlegi App Store-oldal emellett iPhone 15-ön körülbelül 18 másodpercet jelez 5 perc hangra a Parakeettel, szemben a Whisper nagyjából egy percével. A régebbi eszközök lassabbak. A feladat minden esetben repülő üzemmódban is működik, mert nincs feltöltési lépés.

Hogyan írjon át hangot szöveggé offline (lépésről lépésre)

Mac-en:

1. Töltse le a Whisper Notes Mac-verzióját (ingyenes próba, fiók nélkül).
2. Válasszon modellt a Beállításokban: Parakeet V3 a gyors angol átíráshoz, SenseVoice kínaihoz, japánhoz, koreaihoz vagy kantonihoz, Whisper Large V3 Turbo több mint 100 nyelvhez. A modell egyszer töltődik le, utána offline működik.
3. Rögzítsen közvetlenül, vagy húzzon be bármilyen hang- vagy videofájlt (MP3, WAV, M4A, MP4).
4. Online megbeszélésekhez kapcsolja be a megbeszélés-észlelést. A Zoomot, a Teamst és a Google Meetet automatikusan felismeri; a rendszerhangot és a mikrofont együtt rögzíti, az átírás pedig a Mac-en marad.
5. A szöveg már feldolgozás közben folyamatosan érkezik. Exportálja TXT, SRT vagy VTT formátumban, vagy másolja bárhová. Az importált videó feliratszerkesztőben nyílik meg, ahol exportálás előtt megnézheti és javíthatja a feliratokat.

iPhone-on: telepítse a Whisper Notes-t az App Store-ból, rögzítsen, vagy importáljon a Hangjegyzetekből és a Fájlokból — az átírás az A-szériás chipen fut. Ha bizonyítékot szeretne arra, hogy semmi sem kerül feltöltésre, előbb kapcsolja be a repülő üzemmódot. Automatizáláshoz a Parancsok app „Transcribe Audio” művelete egy hangfájlt kap, és visszaadja a szöveget.

Hogyan építettük fel

A Whisper Notes ezeknek az elveknek a mi megvalósításunk szerinti formája. Néhány konkrét döntés, amelyet érdemes kiemelni:

Widgetek a zárolási képernyőn

A legjobb gondolatok alkalmatlan pillanatokban érkeznek. Ezért készítettünk zárolásiképernyő-widgeteket: egyetlen koppintás a zárolási képernyőn megnyitja az appot és elindítja az offline felvételt — nincs appkeresgélés, nincs kapcsolat-ellenőrzés. A helyi feldolgozás azonnali rendelkezésre állást jelent.

Hardverhez igazodó modellek

A Mac-eknek van hőtartalékuk és bőséges energiájuk. Az iPhone a zsebében él. Ma már mindkettő ugyanazt a modellfelhozatalt futtatja — Parakeet V3 (az alapértelmezett), Whisper Large-v3 Turbo (809 millió paraméter, Mac) / Whisper Small (iPhone) és SenseVoice —, mindegyik a saját hardveréhez hangolva. Ugyanazok az adatvédelmi garanciák, a hardverhez illő erőforrás-használat.

Az Ön adatai, az Ön fájljai

Az átiratok fájlok az eszközén. Mac-en minden átirat Markdown-fájlként (.md) mentődik a hangfájl mellé, YAML-fejléccel (dátum, forrás, hossz), az Ön által választott mappába; ha ez egy Obsidian-tároló, minden felvételből jegyzet lesz. Nincs zárt adatbázis, nincs gyártófüggőség. Ha a Whisper Notes holnap eltűnne, a felvételei akkor is elérhetők maradnának. A tömeges exportálás nem prémium funkció — a saját tulajdonú adat természetes állapota.

Egyéni szókincs

Szakzsargon, szokatlan nevek, szakterületi kifejezések — épp az a szókincs igényli a legpontosabb átírást, amelyet a legkevésbé szeretne feltölteni. A kezdő promptokkal helyben adhat hozzá kontextust. A modell alkalmazkodik, anélkül hogy az Ön terminológiája tanítóadattá válna.

iPhone-on a nevek és kifejezések a kezdő prompt mezőbe kerülnek, és úgy irányítják a modellt, hogy nem hagyják el az eszközt.

Amikor a felhő jobban működik

Nem tesszük úgy, mintha a helyi átírás mindenben jobb lenne. A felhőnek valódi előnyei vannak:

Valós idejű csapatmunka. Ha öten szerkesztenek egy átiratot egyszerre egy megbeszélés alatt, ahhoz szerveroldali koordináció kell. A helyi eszközök természetüknél fogva egyfelhasználósak.

Beszélőazonosítás nagy léptékben. Az eszközön futó beszélőcímkézés megérkezett — a Whisper Notes már teljes egészében az eszközön címkézi, „ki mit mondott”, iPhone-on és Mac-en. A felhőléptékű beszélőelkülönítés nagyon nagy csoportoknál és erősen átfedő beszédnél továbbra is előnyben van, de kétszereplős interjúknál és kis megbeszéléseknél az eszközön készült beszélőcímkék már elég pontosak a használathoz (99,1%-os mondatszintű pontosság a kétbeszélős tesztünkben).

Munkafolyamat-automatizálás. A felhőszolgáltatások CRM-ekhez kapcsolódnak, teendőket nyernek ki, összefoglalókat küldenek Slackre. A helyi eszközök szövegfájlokat állítanak elő — hogy mit kezd velük, az már kézi munka.

Régebbi hardver. Az A14 előtti iPhone-ok és az Intel-alapú Mac-ek — egyes eszközök a gyakorlatban nem tudnak helyi AI-t futtatni. Ott a felhő marad az egyetlen lehetőség.

Ha az elsődleges igénye az élő megbeszélések alatti csapatmunka, valószínűleg a felhőalapú eszközök a jobbak. Ha főleg a saját felvételeit írja át, és számít az adatvédelem, a helyi feldolgozás illik jobban Önhöz.

A fejlődési pálya

Minden chipgeneráció nagyobb Neural Engine-teljesítményt hoz. Minden modelliteráció jobb hatékonyságot. A helyi és a felhő közötti szakadék szűkül, miközben az adatvédelmi és késleltetési előnyök állandóak maradnak.

A felhőalapú átírásnak addig volt értelme, amíg a telefonok nem tudták futtatni a modelleket. Körülbelül 2022 óta tudják.

A helyi átírás ma már működik az Apple hardverén. Az előfizetés mellett csak két érv maradt: az élő feliratozás és a közös szerkesztés, és ha egyikre sincs szüksége, harmadik érv nincs.

Műszaki részletek

Offline beszédfelismerés Windowson és Androidon

A Whisper Notes Apple Siliconra készült, ezért csak Mac-en és iPhone-on fut. Más platformokon jelenleg ezek a lehetőségek:

Windows: a Whisper Notes csak Mac-en és iPhone-on fut, így a legjobb ingyenes lehetőségek a Buzz (egyszerű grafikus felület a Whisperhez) és a faster-whisper (parancssoros, ugyanazon a hardveren többszörösen gyorsabb a referencia-implementációnál). A modell letöltése után mindkettő teljesen offline fut. Egy natív appnál több beállítási nehézségre számítson — Python-környezetek, modellfájlok, és ha sebességet akar, GPU-illesztőprogramok.

Android: a whisper.cpp-nek vannak androidos portjai és néhány wrapper-appja, de a minőségük és a karbantartásuk változó. Androidon még nincs kiforrott, széles körben elterjedt offline átíróapp — a jelenlegi állásról lásd a Whisper Notes Android-státusz oldalt.

Sokan keresnek rá arra, hogy „Whisper Notes Windows”, mert ugyanazt az offline, egyszeri vásárlásos modellt szeretnék PC-n is. Nem készítünk ilyet, és ezt inkább kimondjuk, mint hogy nyitva hagyjuk a kérdést (a teljes magyarázat a(z) Whisper Notes Windowsra oldalon olvasható). Hogy a helyi átírás ma a valós idő százszorosán fut, az az Apple Neural Engine-jének köszönhető.

Offline beszédfordítás: mire képes a helyi AI, és mire nem

Gyakran felmerül egy kapcsolódó kérdés: tud-e a helyi AI beszédet fordítani is, nem csak átírni? Részben. Az eredeti Whisper Large V3 modellt két feladatra tanították — átírásra és bármely nyelvről angolra fordításra. Helyben futtatva francia, japán vagy arab hangból teljesen offline készít angol szöveget. Két kikötés: csak angolra fordít (visszafelé nem), és ez a teljes Large V3 modellre vonatkozik — a gyorsabb Large-v3 Turbo változat elhagyta a fordítási feladatot, hogy az átírásra specializálódjon.

Az offline beszédfordítás még gyerekcipőben jár. Nincs széles körben elterjedt fogyasztói app, amely teljesen offline hozná a felhős, valós idejű beszéd-beszéd fordítás szintjét. A gyakorlatias munkafolyamat ma kétlépéses: írja át helyben, majd fordítsa le a kapott szöveget egy olyan eszközzel, amelyben megbízik. A nyers hangnak soha nem kell elhagynia az eszközét.

Gyakran ismételt kérdések

Letöltés iOS-re Próbálja ki ingyen Mac-en