组合式文档切块策略及适用场景
哪些公司问过
答案要点
- 结构切块:按标题、标签、函数、表格切分,适合层级清晰文档并保留标题路径元数据
- 递归分块:按段落、换行、句子逐级细分,适合通用文本,作为兜底
- 语义分块:按相邻句子 embedding 相似度断点切分,适合结构弱、主题多变的长文
- LLM 切块:由模型判断边界,质量高但成本和延迟最高,用于高价值文档
- 协作:结构优先、超长递归细分、弱结构走语义、关键文档用 LLM,用召回指标验证
易错点
- 所有文档一刀切用固定长度切分,截断表格、代码和句子
- 只凭经验定 chunk size,不用评测集验证召回效果
- 对大量普通文档也用 LLM 切块,成本和耗时失控
面试官常见追问
- chunk size 的取值依据是什么?
- 用什么指标判断切分策略是否合理?
- overlap 有什么用,设多大?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。