核心结论：昆仑茶馆同声传译是一条「识别—翻译—合成」三段式流水线：先按语言路由到合适的识别引擎，句末整句转写后翻译，再按目标语言选择音色合成语音。101 种语言各得其所，方言特殊处理。

一、识别层：双引擎路由

  • 18 种常用语言（中英日韩法德西俄等）走 Vosk 本地引擎，毫秒级响应
  • 83 种长尾语言统一走 faster-whisper 多语言模型，单模型覆盖全量语言码
  • 粤语（yue）有原生语言码，走 Whisper 原生识别；闽南语无原生码，内部用中文兜底转写

二、转写策略：句末整句

  • 流式识别，但只在句末提交完整句子，避免半句翻译的碎片感
  • 单句超过 20 秒自动分片，保证大段发言也能及时出结果

三、翻译层：101 语言对

  • 语言池与 faster-whisper 全量语言码对齐，共 101 项（含闽南语）
  • 支持「我说 A 语言、对方听 B 语言」的任意方向组合

四、合成层：74 种语言真实音色

  • edge-tts 324 个音色实测对齐到 74 种语言
  • 粤语使用专属音色（zh-HK-HiuMaanNeural），发音地道
  • 其余 27 种无音色的语言自动降级为纯字幕模式，不中断通话

五、工程保障

  • 服务启动时预热模型，冷启动 10-120 秒内就绪
  • 通话帧流持续不断，不触发会话超时
  • 桌面版与手机版共用同一套引擎，信令互通

FAQ

  • 识别准吗：常用语言毫秒级高准确；长尾语言为 best-effort，口语化内容建议用常用语言
  • 会打断说话吗：不会，句末才出翻译，边说边译
  • 支持实时改语言吗：支持，通话中随时切换

行动建议：对准确度要求高的正式沟通，建议双方都选择常用语言；对方言通话，推荐普通话+粤语组合，效果最好。