答案后面显示“来源：员工手册.pdf”，仍可能没有依据：引用段落可能只提到相似词，文件可能已经失效，回答也可能把两个版本拼在一起。减少乱答要贯穿资料准入、检索、引用展示、冲突处理和评测，不能只在页面上加一个来源标签。

入库前先处理重复、旧版和权限

建立资料登记表，至少记录标题、发布部门、日期、版本、有效状态、使用范围和更新人。重复文件和近重复版本要识别；旧版可以保留历史查询，但默认回答应优先使用当前有效文件，并明确时间条件。

没有使用权、来源不清或不应进入该系统的材料先不入库。扫描件先检查OCR质量，复杂表格和附件要确认解析是否完整。垃圾资料进入索引后，模型只会更流畅地复述垃圾。

  • 文件来源和合法使用范围明确

  • 现行、历史、草稿和失效状态分开

  • 部门、项目和人员权限可继承到检索

  • 删除和更新责任人及处理时限清楚

解析和切分要保留文档结构

固定长度切分容易把条件、例外和表格拆开。应尽量利用标题、条款、段落、表格和页码结构，并保留文件名、章节、页面和版本等元数据。对跨页表格、脚注和附件，需用真实问题确认信息没有丢失。

切分越小不一定越准，越大也不一定越完整。应根据材料类型和问题方式调试，并保存解析结果供人工抽查，而不是只看最后的聊天答案。

引用必须真的支持回答

检索到相关段落只是第一步。生成内容中的关键陈述应能被引用片段直接支持，使用者可以打开原文件并定位到页码或段落。回答把不同文件综合在一起时，要分别标出来源，不能用一个引用支撑整段推断。

权限过滤应发生在检索阶段，而不是先检索全部资料、最后隐藏链接。否则模型可能利用用户无权查看的内容生成答案。缓存、摘要和索引也要随源文件权限变更而更新。

冲突、过期和无答案时要敢于停下来

两份有效文件说法冲突时，系统应展示冲突及各自来源，交给责任部门确认；资料不足时明确说无法依据当前知识库回答；问题超出权限时只提示无权访问，不泄露是否存在某份敏感文件。

拒答质量要单独测试。一个永远回答的系统看起来热情，却更容易补全不存在的事实。可以建立无答案、错误前提、过期制度和跨权限问题集，检查系统是否稳定停止。

评测集要故意放进难题

问题集应来自真实任务，并包含可回答、不可回答、来源冲突、版本变化和权限变化。人工评分分别看检索是否找到正确材料、引用是否支持关键陈述、答案是否遗漏限定条件以及拒答是否恰当。

验收不是问十个顺利问题

每次模型、切分策略、权限或资料版本变化后，都要重跑固定题，并把失败答案留存。只有错误能被定位到资料、检索、生成或权限环节，后续修正才有抓手。

  • 入库文件是否有来源、版本、状态、权限和责任人

  • 解析结果是否保留标题、页码、表格和附件关系

  • 关键陈述能否逐项对应到可打开的原文

  • 权限变更和删除是否同步到索引、缓存和答案

  • 冲突、过期、无答案和越权问题是否正确停止

  • 误区：有文件名就是有依据；隐藏链接就完成权限；只评流畅度不评引用支持

常见问题

回答带页码就一定可靠吗？

不一定。还要检查该页内容是否直接支持关键表述、版本是否有效、引用是否遗漏条件，以及回答是否混入未引用的推断。

旧版制度要不要删除？

根据业务需要决定。可保留用于历史查询，但要标明失效时间并默认优先现行版本；若无保留必要，则按规定删除并同步清理索引和缓存。

怎样测试知识库会不会乱答？

除正常问题外，加入资料中没有答案、前提错误、来源冲突、旧版诱导和无权限问题，分别检查拒答、引用和权限行为。