面试题库 › C++ / 后端 › 语义切分(Semantic Chunking)的具体实现

语义切分(Semantic Chunking)的具体实现

难度 ★★☆在 1 场真实面经中被问到 方向:C++ / 后端考点:文档切分与索引

哪些公司问过

美团1

常见岗位:人工智能

答案要点

  1. 先分句,再对每句(常拼上前后句形成窗口)做向量化,用句向量模型计算表示
  2. 计算相邻句子的余弦距离,距离突增处即语义边界,作为候选切分点
  3. 阈值用文档内距离的分位数或均值加标准差动态确定,比固定阈值更稳
  4. 后处理:小块合并、超长块按 token 上限二次切分,块间少量重叠并保留元数据
  5. 取舍:效果好于定长切分,但嵌入开销大;结构化文档优先按标题层级切

易错点

面试官常见追问

完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。

相关面试题