TTS 语音合成的实现原理与主流方案
哪些公司问过
答案要点
- 文本前端:文本正则化、分词、多音字消歧、G2P 转音素、韵律预测,中文场景尤其关键
- 声学模型:Tacotron 2 自回归加注意力;FastSpeech 2 借助时长预测实现非自回归并行生成,更快更稳
- 声码器:把梅尔频谱还原为波形,WaveNet 质量高但慢,HiFi-GAN 等 GAN 声码器可实时
- 端到端与大模型方案:VITS 联合训练;基于音频 codec token 的语言模型方案支持零样本音色克隆
- 评价与工程指标:MOS 主观评分、字错误率、说话人相似度、实时率 RTF、流式首包延迟
易错点
- 只讲声学模型,忽略文本前端,中文多音字和数字读法是常见错误来源
- 混淆梅尔频谱和波形,声学模型通常不直接输出可播放的音频
- 零样本音色克隆涉及授权与合规,需要防滥用措施
面试官常见追问
- 自回归和非自回归 TTS 有什么区别?
- 流式 TTS 怎么降低首包延迟?
- 多音字和数字读法怎么处理?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。