面试题库 › 算法 / 大模型 › TTS 中音频如何离散化为 token

TTS 中音频如何离散化为 token

难度 ★★☆在 1 场真实面经中被问到 方向:算法 / 大模型考点:视觉与多模态模型

哪些公司问过

MiniMax1

常见岗位:大模型算法

答案要点

  1. 传统前端特征:分帧加窗、STFT 得到频谱,再经梅尔滤波取对数得到 log-mel,是连续特征而非 token
  2. 声学 token:SoundStream、EnCodec 等神经编解码器配合残差向量量化 RVQ,每帧输出多个层次化码本索引
  3. 语义 token:对 HuBERT 等自监督模型特征做 k-means 聚类得到,偏内容、弱音色
  4. 生成方式:文本 token 与音频 token 拼接由自回归模型建模,多码本可分层生成(如 VALL-E 先 AR 后 NAR)
  5. 还原波形:声学 token 走编解码器解码器;语义 token 常经流匹配或扩散生成梅尔谱再接声码器

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题