TTS 中音频如何离散化为 token
哪些公司问过
答案要点
- 传统前端特征:分帧加窗、STFT 得到频谱,再经梅尔滤波取对数得到 log-mel,是连续特征而非 token
- 声学 token:SoundStream、EnCodec 等神经编解码器配合残差向量量化 RVQ,每帧输出多个层次化码本索引
- 语义 token:对 HuBERT 等自监督模型特征做 k-means 聚类得到,偏内容、弱音色
- 生成方式:文本 token 与音频 token 拼接由自回归模型建模,多码本可分层生成(如 VALL-E 先 AR 后 NAR)
- 还原波形:声学 token 走编解码器解码器;语义 token 常经流匹配或扩散生成梅尔谱再接声码器
易错点
- 把 log-mel 特征直接当成离散 token,忽略了还需要量化这一步
- 混淆语义 token 与声学 token:前者丢音色细节,单独无法高保真还原波形
- 只讲 VQ 不讲 RVQ 的层次结构,以及帧率、码本层数对序列长度的影响
面试官常见追问
- RVQ 为什么要多层残差?
- 多码本 token 怎么喂给语言模型?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。