知识库的文档解析、切分与索引
哪些公司问过
答案要点
- PDF区分文本层抽取与OCR,做版面分析,表格保留结构
- Word按段落、标题和表格解析;网页去噪;Markdown按标题;代码按函数/类切
- 清洗:去重、去乱码、统一格式,按需做敏感信息脱敏
- 切分优先按结构,超长再按长度细分加重叠,chunk附标题路径、来源等元数据
- 同时建向量索引与关键词索引,支持混合检索加重排
易错点
- 所有格式用同一个纯文本抽取器,表格和版面结构被打乱
- 切分不带标题路径等元数据,chunk脱离上下文后语义不完整
- 阈值和块大小凭感觉定,不用评测集验证
面试官常见追问
- 文档按固定长度切还是按标题和语义切?
- TopK和相似度阈值怎么定?
- 内容安全与脱敏在RAG中怎么落地?
完整的口述示范答案、每个追问的参考回答,在启面刷题中心查看;也可以让 AI 面试官用语音按这道题连环追问你。