投稿 提交工具 投放合作

WhisperLiveKit:超低延迟自托管语音转文字管线

效率工具 11.3k(+6) 1.2k Python 2026-11-22 在 GitHub 打开

基于同步语音识别研究的自托管流式转写服务,支持多用户并发、说话人分离与多语言同传。

WhisperLiveKit 是一个自托管的流式语音转文字管线,面向实时转写场景。它不直接对每个音频小块反复调用 Whisper,而是采用 Simul-Whisper/Streaming 的 AlignAtt 策略、WhisperStreaming 的 LocalAgreement 策略等同步识别方法做智能缓冲与增量处理,避免小片段丢失上下文、截断词语的问题。后端支持多用户并发,语音活动检测可在无人声时降低开销。除转写外还提供基于 NLLB 的 200 语言同声传译、基于 Streaming Sortformer 的实时说话人分离,以及 Qwen3-ASR 因果流式编码等可选后端。客户端通过 WebSocket 连接,可按会话设置语言、翻译目标语言、术语上下文等参数;仓库另附 Chrome 扩展用于采集网页音频。功能多以可选依赖形式提供,部分 GPU 栈之间互相冲突需分开安装。

Star 趋势2026-11-08 — 2026-11-22当前 Stars 11k24h +67 日 +25

11k11-0811-1111-1311-1511-1711-2011-22