Faster-Whisper

Faster-Whisper 是 SYSTRAN 团队 2023 年 2 月公开的 Whisper 高性能推理 fork,GitHub ★12k+,MIT 协议,主语言 Python(CTranslate2 后端)。在不损失精度的前提下,通过 CTranslate2 量化与算子优化,实现 Whisper large-v3 模型在 CPU 上 4 倍实时推理速度、GPU 上 4-5x 加速,显存占用降低约 50%(FP16 量化)。API 100% 兼容原版 Whisper interface,生产环境首选 fork — VisLane 已收录的 whisper 是 SOTA 参考模型,faster-whisper 是部署落地首选。

核心能力围绕「无损加速 + 接口兼容」展开。后端 CTranslate2(基于 Transformer 推理的 C++ 库,支持 INT8/INT16/FP16 量化);模型支持 Whisper 全系列(tiny/base/small/medium/large-v1/large-v2/large-v3/distil-large-v3);速度 large-v3 在 RTX 3090 上 4-5x 实时,在 Apple Silicon M1 上 3-4x 实时,在 CPU(8 核)上 1-2x 实时;显存 large-v3 INT8 量化约 3GB VRAM(原版 ~10GB);接口与 openai-whisper 100% 兼容(from faster_whisper import WhisperModel),可直接替换;额外特性支持 beam search + word-level timestamps + VAD filter + language detection。生态 HuggingFace Transformers / faster-distil-whisper / faster-whisper-large-v3-turbo 等变体;与 OpenAI API 行为一致。

适用场景:生产环境 ASR 服务(原版 Whisper 推理太慢)、批量视频字幕生成、播客批量转写、语音搜索后端、嵌入式设备(CPU/边缘)实时转写、低显存 GPU(消费级 8GB)跑 large-v3。硬件门槛:CPU 即可(quantization INT8 让 large-v3 在笔记本 CPU 上也能 1x 实时);GPU 可选(8GB+ VRAM 跑 large-v3 INT8 达 4x 实时)。上手路径:pip install faster-whisper → from faster_whisper import WhisperModel; model = WhisperModel('large-v3', device='cpu', compute_type='int8'); segments, info = model.transcribe('audio.mp3');CLI 兼容 openai-whisper 接口(faster-whisper audio.mp3 --model large-v3 --language Chinese --output_format srt)。

License 为 MIT,允许商业闭源使用、修改、再分发。Faster-Whisper 与 VisLane 已收录的 whisper(OpenAI 原版)定位关系:Whisper 是「学术参考 SOTA 模型」(PyTorch 原版),Faster-Whisper 是「生产部署首选 fork」(CTranslate2 后端 + 量化);两者 API 100% 兼容,可直接互换。Whisper 适合研究/教学/小批量,Faster-Whisper 适合 SaaS / 高并发 / 边缘部署 / 显存受限场景。配套生态:Faster-Whisper 已被 Kuaishou / ByteDance / NVIDIA Riva / OpenAI Whisper API backend 等多个生产项目采用。