大模型分词器、Embedding 与端侧部署选型
哪些公司问过
阿里巴巴1蚂蚁数字科技1
答案要点
- BPE 合并高频相邻对;WordPiece 用于 BERT;SentencePiece 是支持 BPE/Unigram 的库
- Embedding 是 vocab×hidden 的查找表,部分模型与 LM Head 共享权重
- 端侧内存估算:参数量×每参数字节数,再加 KV Cache 与运行时开销
- 解码阶段通常受内存带宽限制,量化能同时省内存和提速
- 框架选型看硬件支持:llama.cpp、MLC-LLM、MNN、ONNX Runtime 等
易错点
- 把 SentencePiece 当成一种和 BPE 并列的算法,它其实是工具库
- 估算端侧内存只算权重,忽略 KV Cache 和中间激活
- 以为端侧速度主要由算力决定,忽视内存带宽瓶颈
面试官常见追问
- 词表大小怎么权衡?
- 端侧常用哪些量化方式?
- 为什么中文在某些模型上 token 数特别多?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。