面试题库 › 算法 / 大模型 › 大模型分词器、Embedding 与端侧部署选型

大模型分词器、Embedding 与端侧部署选型

难度 ★★☆在 2 场真实面经中被问到 方向:算法 / 大模型考点:部署优化与硬件适配

哪些公司问过

阿里巴巴1蚂蚁数字科技1

常见岗位:AI 应用 / Agent 开发、软件开发

答案要点

  1. BPE 合并高频相邻对;WordPiece 用于 BERT;SentencePiece 是支持 BPE/Unigram 的库
  2. Embedding 是 vocab×hidden 的查找表,部分模型与 LM Head 共享权重
  3. 端侧内存估算:参数量×每参数字节数,再加 KV Cache 与运行时开销
  4. 解码阶段通常受内存带宽限制,量化能同时省内存和提速
  5. 框架选型看硬件支持:llama.cpp、MLC-LLM、MNN、ONNX Runtime 等

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题