语义切分(Semantic Chunking)的具体实现
哪些公司问过
答案要点
- 先分句,再对每句(常拼上前后句形成窗口)做向量化,用句向量模型计算表示
- 计算相邻句子的余弦距离,距离突增处即语义边界,作为候选切分点
- 阈值用文档内距离的分位数或均值加标准差动态确定,比固定阈值更稳
- 后处理:小块合并、超长块按 token 上限二次切分,块间少量重叠并保留元数据
- 取舍:效果好于定长切分,但嵌入开销大;结构化文档优先按标题层级切
易错点
- 只看单句向量,短句噪声大导致切得过碎,应拼上下文窗口
- 阈值写死,换文档或换嵌入模型后效果大幅波动
- 切完不控长度,块超过嵌入模型或上下文的 token 上限被截断
面试官常见追问
- 相似度阈值怎么定?
- 语义切分和递归字符切分怎么选?
- 怎么评估切分效果?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。