TL;DR — เปรียบเทียบโมเดลบนอุปกรณ์ 3 ตัว
| Parakeet V3 | SenseVoice Small | Whisper Large V3 Turbo | |
|---|---|---|---|
| อังกฤษ 5 นาที | 2.91s (103×) | 5.8s (52×) | 20.92s (14.3×) |
| จีน 27 นาที | ไม่รองรับภาษาจีน | 13.83s (118×) | 2 min 4s (13.1×) |
| ภาษาที่รองรับ | 25 (ยุโรป) | 5 (zh, en, ja, ko, yue) | 100+ |
| ดาวน์โหลด | 465 MB | 827 MB | ~1.6 GB |
| เหมาะสำหรับ | อังกฤษ & ยุโรป | จีน, ญี่ปุ่น, เกาหลี, กวางตุ้ง | ภาษาอื่นทั้งหมด (100+ ภาษา) |
* เบนช์มาร์กความเร็วบน Apple M4 Pro, 32 GB พอดแคสต์อังกฤษ 5 นาทีและพอดแคสต์จีน 27 นาที Realtime factor = ความยาวเสียง ÷ เวลาประมวลผล (ยิ่งสูง = ยิ่งเร็ว) เบนช์มาร์กมาจากเวอร์ชัน Mac; SenseVoice มีให้ใช้บน iPhone ด้วยเช่นกัน
Whisper Notes ใช้ SenseVoice Small เป็นเอนจิ้นเฉพาะสำหรับการถอดเสียงภาษาจีน ญี่ปุ่น เกาหลี และกวางตุ้ง ทั้งบน Mac และ iPhone บน Mac มันมาแทนที่โมเดล Qwen3-ASR รุ่นก่อน (ดูบันทึกการเปลี่ยนแปลง) โดยทำงานบน GPU ของ Apple ผ่าน MLX แทน CPU — ประมวลผลพอดแคสต์จีน 27 นาทีใน 13.83 วินาที แทนที่จะเป็น 3 นาที 44 วินาที
ทำไมเราจึงเปลี่ยนจาก Qwen3-ASR
Qwen3-ASR เป็นโมเดลที่ดี รองรับ 30 ภาษาและ 22 สำเนียงจีน ความแม่นยำภาษาจีนใกล้เคียงระดับสูงสุด แต่มีปัญหาที่แย่ลงเมื่อเสียงยาวขึ้น นั่นคือความเร็ว
Qwen3 ใช้สถาปัตยกรรมแบบ autoregressive — วิธีเดียวกับ Whisper ประมวลผลเสียงทีละเฟรม ไม่เคยข้ามไปข้างหน้า พอดแคสต์จีน 27 นาทีใช้เวลา 224 วินาที ใช้งานได้ แต่ไม่ใช่ประสบการณ์ผลลัพธ์ทันทีที่ Parakeet V3 มอบให้สำหรับภาษาอังกฤษ
ปัญหาที่ลึกกว่าคือโครงสร้างพื้นฐาน การรวม Qwen3 ของเราใช้ sherpa-onnx ซึ่งเป็นไลบรารี C ที่มี Swift wrapper 2,249 บรรทัด ส่งทุกอย่างผ่าน CPU GPU ของ Mac ไม่ได้ทำงานเลย
SenseVoice แก้ทั้งสองปัญหา สถาปัตยกรรม non-autoregressive เพื่อความเร็ว Apple MLX เพื่อการเร่งความเร็ว GPU ผลลัพธ์: เร็วขึ้น 16.2 เท่าบนฮาร์ดแวร์เดียวกัน โค้ดลดจาก 2,249 บรรทัดเหลือ 288
เบนช์มาร์ก
ทั้งสามโมเดลทำงานแบบออฟไลน์บน Apple M4 Pro เครื่องเดียวกัน กับไฟล์เสียงชุดเดียวกัน
| โมเดล | อังกฤษ 5 นาที | จีน 27 นาที | ความเร็ว (RTFx) |
|---|---|---|---|
| Parakeet V3 | 2.91s | ไม่รองรับภาษาจีน | 103× |
| SenseVoice Small | 5.8s | 13.83s | 52–118× |
| Whisper Large V3 Turbo | 20.92s | 2 min 4s | 13–14× |
| Qwen3-ASR (ลบออกแล้ว) | — | 224s | 7.2× |
ในภาษาอังกฤษ SenseVoice ทำงานที่ราวครึ่งหนึ่งของความเร็ว Parakeet หรือราว 52 เท่าของเวลาจริง ส่วนภาษาจีน Parakeet ใช้ไม่ได้เลย และ SenseVoice ถอดพอดแคสต์ 27 นาทีเสร็จในไม่ถึง 14 วินาที
เทียบกับ 2 นาที 4 วินาทีของ Whisper หรือ Qwen3 เดิมที่ 3 นาที 44 วินาที สถาปัตยกรรมสำคัญกว่าจำนวนพารามิเตอร์
เบนช์มาร์กการอนุมานอย่างเป็นทางการจากบทความ FunAudioLLM: SenseVoice-Small ประมวลผลเสียง 10 วินาทีใน 70ms (A800 GPU) Whisper-Large-V3 ใช้เวลา 1,281ms บนฮาร์ดแวร์เดียวกัน โปรดทราบว่านี่คือเวลาแฝงการอนุมานบน GPU ศูนย์ข้อมูล ไม่ใช่ตัวเลขบนเครื่องด้านบน
| โมเดล | เวลาโหลด | ขนาดดาวน์โหลด |
|---|---|---|
| Parakeet V3 | 0.77s | 465 MB |
| SenseVoice Small | 0.81s | 827 MB |
| Whisper Small | 1.03s | 600 MB |
| Whisper Large V3 Turbo | 3.18s | ~1.6 GB |
* เวลาโหลดวัดบน Apple M4 Pro, 32 GB
SenseVoice โหลดภายในหนึ่งวินาที บน Mac 8 GB ทำงานได้สบายพร้อมกับแอปอื่น
ทำไม SenseVoice จึงเร็วกว่า: สถาปัตยกรรม + Runtime
ช่องว่างความเร็วระหว่าง Qwen3-ASR และ SenseVoice มาจากสองปัจจัยที่เป็นอิสระต่อกัน
ปัจจัยที่ 1: สถาปัตยกรรมโมเดล Qwen3-ASR เป็น autoregressive — สร้างโทเค็นทีละตัว แต่ละตัวขึ้นอยู่กับตัวก่อนหน้า SenseVoice ใช้ตัวเข้ารหัส non-autoregressive (NAR) ที่ประมวลผลเสียงทั้งหมดแบบขนาน ความแตกต่างทางสถาปัตยกรรมเพียงอย่างเดียวนี้ทำให้ SenseVoice เร็วกว่าโดยพื้นฐาน ไม่ว่าจะใช้ฮาร์ดแวร์อะไร
ปัจจัยที่ 2: Runtime การรวม Qwen3-ASR ใช้ sherpa-onnx ซึ่งทำงานบน CPU SenseVoice ทำงานผ่าน Apple MLX ส่งการคำนวณไปที่ GPU Qwen3 สามารถทำงานบน MLX ได้ไหม? ได้ — แต่ก็ยังจะช้ากว่า SenseVoice เพราะคอขวดของ autoregressive อยู่ที่สถาปัตยกรรม ไม่ใช่ runtime
| Qwen3-ASR (เก่า) | SenseVoice (ใหม่) | |
|---|---|---|
| สถาปัตยกรรม | Autoregressive (ทีละโทเค็น) | Non-autoregressive (ขนาน) |
| Runtime | sherpa-onnx (CPU) | Apple MLX (GPU) |
| จีน 27 นาที | 224 วินาที | 13.83 วินาที |
| เร็วขึ้นรวม | ค่าฐาน | เร็วขึ้น 16.2 เท่า |
| โค้ดเบส | เฟรมเวิร์ก C 168 MB + Swift 2,249 บรรทัด | Swift Actor 288 บรรทัด |
* พอดแคสต์จีน 27 นาทีเดียวกัน Apple M4 Pro การเร่งความเร็ว 16.2 เท่ารวมทั้งการปรับปรุงสถาปัตยกรรม (NAR vs AR) และ runtime (GPU vs CPU)
โค้ดก็ง่ายขึ้นด้วย การใช้งาน SenseVoice ใหม่เป็น Swift Actor เพียง 288 บรรทัดที่สื่อสารกับ MLX โดยตรง แทนที่เฟรมเวิร์ก C 168 MB โค้ดน้อยลง บั๊กน้อยลง แอปเล็กลง
ห้าภาษา ทำได้ดี
SenseVoice ไม่พยายามทำทุกอย่าง มันจัดการห้าภาษา:
| ภาษา | SenseVoice-Small | Whisper-Large-V3 | ผู้ชนะ |
|---|---|---|---|
| จีน (zh-CN) | 10.78% CER | 12.55% CER | SenseVoice (-14%) |
| กวางตุ้ง (yue) | 7.09% CER | 10.41% CER | SenseVoice (-32%) |
| ญี่ปุ่น (ja) | 11.96% CER | 10.34% CER | Whisper (เล็กน้อย) |
| เกาหลี (ko) | 8.28% CER | 5.59% CER | Whisper |
| อังกฤษ (en) | 14.71% WER | 9.39% WER | Whisper (ใช้ Parakeet ดีกว่า) |
* เบนช์มาร์ก CommonVoice, CER = อัตราผิดพลาดตัวอักษร, WER = อัตราผิดพลาดคำ ยิ่งต่ำยิ่งดี แหล่งข้อมูล: บทความ FunAudioLLM (2024) เวลาแฝงการอนุมาน SenseVoice-Small: 70ms ต่อเสียง 10 วินาที (A800 GPU) เทียบกับ 1,281ms ของ Whisper-Large-V3 บนฮาร์ดแวร์เดียวกัน
อัตราความผิดพลาดบน CommonVoice ยิ่งต่ำยิ่งดี: สีน้ำเงินคือ Whisper-Small สีส้มคือ Whisper-Large-V3 สีเทาคือ SenseVoice-Small สีเหลืองคือ SenseVoice-Large ที่มา: บทความ FunAudioLLM
ตัวเลขบอกเล่าเรื่องจริง SenseVoice ชนะ Whisper ในความแม่นยำภาษาจีนและกวางตุ้งอย่างมีนัยสำคัญ ขณะที่ Whisper แม่นยำกว่าสำหรับญี่ปุ่น เกาหลี และอังกฤษ แต่ SenseVoice ทำงานที่ 52 เท่าของเวลาจริงขึ้นไป บน Apple Silicon ในการใช้งานจริง ความแตกต่างของความเร็วสำคัญกว่าความแม่นยำที่ต่างกันไม่กี่เปอร์เซ็นต์
ผลลัพธ์กวางตุ้งควรค่าแก่การเน้นย้ำเป็นพิเศษ Whisper-Small ได้ 38.97% CER สำหรับกวางตุ้ง — แทบใช้ไม่ได้ แม้แต่ Whisper-Large-V3 ก็ทำได้แค่ 10.41% SenseVoice ทำได้ 7.09% ดีกว่า Whisper Large V3 ทั้งที่มีขนาดเพียงเศษเสี้ยวของมัน
การถอดเสียงเกาหลีด้วย SenseVoice: นำเข้าวิดีโอพร้อมคำบรรยายที่มีเวลากำกับ
ทดสอบจริง: พอดแคสต์จีน 27 นาที
เราถอดเสียงตอนหนึ่ง 27 นาทีของ Thirteen Invitations (十三邀) พอดแคสต์สัมภาษณ์จีน ด้วยทั้ง SenseVoice และ Whisper Large V3 Turbo บน M4 Pro เครื่องเดียวกัน ใช้ ElevenLabs Scribe (คลาวด์) เป็นตัวอ้างอิง โมเดลทั้งสองบนเครื่องมีจำนวนข้อผิดพลาดใกล้เคียงกัน แต่ประเภทต่างกัน:
| SenseVoice | Whisper Large V3 Turbo | |
|---|---|---|
| เวลา | 13.83s | 2 min 4s |
| ข้อผิดพลาด (ตัวอย่าง 5 นาที) | ~15–20 | ~12–15 |
| ข้อผิดพลาดที่เลวร้ายที่สุด | 时差→食堂 (เขตเวลา→โรงอาหาร) | 西昌→西藏 (เมือง Xīchāng→ทิเบต, คลาดเคลื่อน 4,000 กม.) |
| รูปแบบข้อผิดพลาด | สลับคำพ้องเสียง | ข้อผิดพลาดทางภูมิศาสตร์/ข้อเท็จจริง |
* เปรียบเทียบด้วยตนเองกับ ElevenLabs Scribe (อ้างอิงคลาวด์ ซึ่งก็ไม่สมบูรณ์แบบ) โมเดลทั้งสองบนเครื่องเขียน "根深蒂固" ถูกต้อง ขณะที่ Scribe ผิด
ความแม่นยำใกล้เคียงกัน และได้บทถอดเสียงใน 13.83 วินาทีแทนที่จะเป็นสองนาที
เมื่อไหร่ควรใช้โมเดลไหน
ตอนนี้ Whisper Notes สำหรับ Mac มาพร้อมโมเดลเสียงสี่ตัวในบิลด์ Mac ทั้งสองแบบ และเวอร์ชันที่ดาวน์โหลดตรงจากเว็บไซต์ (DMG) เพิ่มตัวที่ห้าตั้งแต่ 1.6.0 คือ Qwen3-ASR 1.7B (Beta) โดยสี่ตัวด้านล่างแต่ละตัวเหมาะสำหรับสถานการณ์ที่แตกต่างกัน:
| คุณต้องการ... | ใช้โมเดลนี้ | เหตุผล |
|---|---|---|
| อังกฤษหรือยุโรป ความเร็วสูงสุด | Parakeet V3 | 103× เรียลไทม์, อัตราข้อผิดพลาดต่ำสุด ค่าเริ่มต้น |
| จีน ญี่ปุ่น เกาหลี หรือกวางตุ้ง | SenseVoice Small | 52–118× เรียลไทม์ โมเดลเดียวที่รองรับกวางตุ้งบน iPhone และเวอร์ชัน Mac App Store |
| ภาษาใดก็ได้ใน 100+ ภาษา (อาหรับ ไทย รัสเซีย ฯลฯ) | Whisper Large V3 Turbo | รองรับภาษามากที่สุด ช้ากว่าแต่ใช้ได้ทุกภาษา |
| ครบ 101 ภาษาบน Mac รุ่นเก่า | Whisper Small | 600 MB เบาที่สุดในบรรดาโมเดล Whisper และยังรองรับ 101 ภาษา |
การตั้งค่า → โมเดลถอดเสียง: เลือกเอนจิ้นที่เหมาะกับภาษาของคุณ
ตัวเลือกโมเดลในการตั้งค่าแสดงทุกโมเดลที่เวอร์ชันของคุณมี พร้อมขนาดดาวน์โหลด จำนวนภาษา และข้อกำหนดหน่วยความจำ SenseVoice ดาวน์โหลดเมื่อใช้ครั้งแรก (~827 MB) และเก็บไว้บนเครื่อง
ข้อจำกัด
SenseVoice ไม่ใช่โมเดลสากล สิ่งที่ทำไม่ได้มีดังนี้:
• รองรับแค่ 5 ภาษา หากคุณต้องการภาษาไทย รัสเซีย อาหรับ ฮินดี หรือภาษาอื่นนอกเหนือจากกลุ่ม CJK ที่ SenseVoice เน้น ให้ใช้ Whisper ต่อไป
• อัปเดต: เดิมที SenseVoice มีเฉพาะบน Mac ผ่าน Apple MLX แต่ตอนนี้มีบน iPhone แล้วเช่นกัน ควบคู่กับ Parakeet V3 และ Whisper Small
• ปัญหาเสียงเบา ในช่วงที่สั้นมากหรือเบามาก SenseVoice อาจออกเป็นภาษาจีนโดยไม่สนใจภาษาที่เลือก การตั้งภาษาด้วยตนเอง (แทน "อัตโนมัติ") ช่วยลดปัญหานี้
• ถอดเสียงหลังบันทึกเสร็จ SenseVoice ทำงานกับเสียงที่บันทึกเสร็จแล้วหรือไฟล์ ไม่ใช่ระหว่างที่คุณพูด ไฟล์ยาวจะถูกแบ่งตรงช่วงเงียบ และผลลัพธ์จะแสดงเมื่อแต่ละส่วนเสร็จ
เหล่านี้คือข้อจำกัดทางสถาปัตยกรรม ไม่ใช่บั๊ก โมเดลที่ฝึกด้วย 5 ภาษาทำ 5 ภาษานั้นได้ดีมาก การครอบคลุมมากกว่า 100 ภาษาของ Whisper มาพร้อมกับความเร็วที่ช้ากว่าและความแม่นยำที่ไม่สม่ำเสมอในแต่ละภาษา
กำลังเปรียบเทียบตัวเลือกออฟไลน์ทั้งหมดอยู่? โมเดลแปลงเสียงเป็นข้อความบนอุปกรณ์ทุกตัว — Whisper ทุกรุ่น, Parakeet V3, SenseVoice และ Voxtral — ถูกนำมาเปรียบเทียบแบบเคียงข้างกันในหน้าเปรียบเทียบโมเดล Whisper ของเรา เพิ่งเริ่มรู้จัก Whisper? เริ่มต้นที่คู่มือการถอดเสียงด้วย Whisper — โมเดลนี้คืออะไร วิธีรันทุกแบบ และค่าใช้จ่ายเท่าไหร่
คำถามที่พบบ่อย
ทางเลือกแทน Whisper ที่เร็วที่สุดสำหรับการถอดเสียงภาษาจีน ญี่ปุ่น และเกาหลีคืออะไร?
SenseVoice Small มีให้ใช้ใน Whisper Notes ทั้งบน Mac และ iPhone ในการทดสอบบน Mac ด้วย M4 Pro ของเรา มันถอดเสียงพอดแคสต์จีน 27 นาทีใน 13.83 วินาที (52–118× เรียลไทม์) ขณะที่ Whisper Large V3 Turbo ใช้เวลากว่า 2 นาทีกับไฟล์เดียวกัน
SenseVoice ดีกว่า Whisper สำหรับภาษาจีนหรือไม่?
สำหรับภาษาจีนและกวางตุ้ง ใช่ บนเบนช์มาร์ก CommonVoice SenseVoice ได้ 10.78% CER สำหรับภาษาจีน เทียบกับ 12.55% ของ Whisper-Large-V3 และบน M4 Pro ของเรา มันถอดพอดแคสต์ 27 นาทีใน 13.83 วินาที ขณะที่ Whisper ใช้ 2 นาที 4 วินาที ส่วน Whisper ยังคงแม่นยำกว่าเล็กน้อยสำหรับภาษาญี่ปุ่นและเกาหลี ถ้าสองภาษานี้เป็นภาษาหลักของคุณ เลือกเอนจินไหนก็สมเหตุสมผล
ฉันสามารถถอดเสียงภาษากวางตุ้งแบบออฟไลน์บน Mac ได้ไหม?
ได้ SenseVoice ได้ 7.09% CER สำหรับกวางตุ้ง เทียบกับ 10.41% ของ Whisper-Large-V3 และ 38.97% ที่แทบใช้ไม่ได้ของ Whisper-Small และ SenseVoice Small มีขนาดเพียงเศษเสี้ยวของ Whisper Large V3
SenseVoice ใช้งานบน iPhone ได้ไหม?
ได้ Whisper Notes บน iPhone มี SenseVoice ควบคู่กับ Parakeet V3 และ Whisper Small คุณจึงถอดเสียงจีน ญี่ปุ่น เกาหลี และกวางตุ้งแบบออฟไลน์บน iPhone ของคุณได้เช่นกัน
ลองใช้งาน
SenseVoice มีใน Whisper Notes ทั้งบน iPhone และ Mac บน Mac ดาวน์โหลดได้จาก การตั้งค่า → โมเดลถอดเสียง → SenseVoice Small (~827 MB) เวอร์ชัน Mac ต้องใช้ Apple Silicon (M1 ขึ้นไป)
หากคุณใช้ Parakeet V3 และพิมพ์ด้วยเสียงเป็นภาษาอังกฤษเป็นหลัก ไม่จำเป็นต้องเปลี่ยน SenseVoice สำหรับเมื่อคุณต้องการจีน ญี่ปุ่น เกาหลี หรือกวางตุ้ง — และต้องการความเร็ว
ดาวน์โหลดสำหรับ Mac
บันทึกการเปลี่ยนแปลงฉบับเต็ม: whispernotes.app/changelog
คำถามหรือข้อเสนอแนะ: mac@whispernotes.app