Dify 文档问答的分层排错:把解析、检索和生成拆开验收
用证据清楚的小型问题集定位知识库错误,避免只在提示词上反复尝试。
从错误答案倒推,往往会漏掉上游问题
当知识库应用回答不正确时,人们常常先修改提示词或者更换模型。但回答只是流程末端的表现:原文可能已经解析错,相关片段可能没有被找到,也可能找到了证据却在生成时丢失条件。Dify 官方资料介绍了工作流、知识库检索、模型连接和运行观察能力,适合用来组织分阶段的检查。
下面以公开产品手册问答为假设场景,提出一套可重复的排错方法。这是编辑设计的实验方案,没有对应某个真实项目的成功率。先选少量内容稳定、可人工阅读的资料,把完整原文和版本信息保存好,再开始评价问答结果,通常比一开始导入大量文档更容易解释问题。
先给问题写出预期证据
问题集至少应包含直接回答、组合多段信息、版本冲突和资料缺失几类。对每个问题,人工记录支持答案的章节、关键句和必要条件。不要只写一个理想回答,因为不同表达都可能正确;更重要的是哪些事实必须出现,哪些推断不能越过现有证据。
例如,旧手册描述默认开放的功能,新手册增加了启用条件。一个合格答案不仅要找到功能名称,还要说明适用版本和条件。再准备一个根本没有写在手册里的功能问题,预期行为应当是说明缺少依据。这类反例可以检验系统是否愿意保留不确定性,而不是把任何问题都加工成肯定答案。
第一层检查:导入后的文字是否还表达原意
逐页抽查解析结果中的标题、列表、表格和跨栏顺序。重点看例外条件有没有从主体说明中分离,单位是否仍与数值对应,页眉页脚是否混入正文。如果原文中“不支持”的否定词被遗漏,后续检索再准确也无法修复已经丢失的含义。
可以把解析问题整理为单独的缺陷表,记录原文件、位置、解析结果和影响。修复以后重新导入受影响的材料,并保存处理版本。不要用生成模型替原文补齐缺失内容后再当作原始事实入库,否则排错时会很难区分作者的陈述、解析器的产物和模型自己的补写。
第二层检查:检索有没有带回足够的材料
暂时忽略最终回答,只看每个问题检索到了什么。人工判断返回片段是否相关,是否包含完整条件,以及是否夹入同名但不同版本的资料。关键词、切分粒度和检索策略的调整应一次只改变一个因素,然后使用相同问题重新检查。
如果正确章节就在候选结果里却位置靠后,处理方式与完全没有召回不同;如果表格被拆成只有数值没有表头的片段,增加返回数量也未必解决。记录这些具体情况,能够避免把所有问题归咎于模型。对于需要多段组合的问题,还要看证据之间能否通过文档身份和章节关系正确连接。
第三层检查:生成有没有超出证据边界
确认检索结果可用后,再比较回答中的每个关键结论与证据。检查是否把“可能”改成“保证”,把特定环境扩大到所有场景,或者引用了相邻但不支持该结论的段落。格式整齐和引用数量多,都不能替代逐项对应的核查。
提示词可以明确要求区分原文事实、归纳总结和无法确认的信息,但验收不能止于写入要求。应当继续观察反例中的实际输出,特别是材料不足时的行为。如果确实需要模型给出建议,应将建议作为独立部分,并说明它是基于现有资料的编辑性判断,而不是手册原文。
发布后保留一套小而稳定的回归集
把已经发现的问题加入固定测试集,后续更换模型、更新文档或调整解析配置时重复运行。可以分别统计解析缺陷、检索遗漏、条件丢失和无依据补充,不必急着把它们合成一个总分。问题较少时,逐条记录原因通常比看一个漂亮的百分比更能指导修复。
上线前还应安排权限与故障场景:无权访问的资料不能因为被检索而泄露,模型服务失败时应清楚说明失败,资料更新后应避免长期引用旧版本。每个阶段都有可观察的输入和输出,排错才会从猜测变成有证据的定位。真正值得保留的成果,是下一次发生相同问题时,团队知道先检查哪里。
原始来源:langgenius/dify 官方仓库 ↗。核验日期:2026年11月13日。
编辑说明:本文为 COTCC 站方的原创资料整理,由 AI 辅助撰写并核对官方来源。方案、示例与验收建议属于编辑设计,未声称已完成部署或性能实测;具体功能、许可与费用以项目当前说明为准。
讨论 0
最早优先登录 后参与讨论。
还没有公开评论,欢迎开启讨论。