将证据检索与答案质量分离的RAGFlow接受计划
构建小型以证据为驱动的评估集,分析每个阶段,并标记无支持的答案。
先提出一个可解答的问题
RAGFlow 是一个整合了检索增强生成、文档处理及智能代理功能的平台。这些功能为从文档集中回答问题的应用提供了有用的基础组件。一个可靠的应用仍需有与其预期用途相符合的实施方案。以下方案是一项公共产品文档辅助工具的编辑提案。该方案未提及任何实测准确率、部署结果或不同产品之间的比较。其目的在于使故障足够清晰,以便小团队能够进行调查处理。
在收集文档之前,撰写一份简短的服务说明。明确指定目标读者、涵盖的主题、信息可接受的年龄范围以及证据缺失时的预期行为。例如,智能助手可以解释特定产品版本的文档化行为,而将购买建议留给人类处理。这种界限使得操作成为可能 为了在不要求系统回答关于产品的所有可能问题的情况下确定正确的回应。
创建文档登记册
为每个来源分配一个稳定的标识符,并记录其标题、出版者、版本、采集日期和访问条件。保留原始副本或可靠的来源回溯途径。如果两份文档描述不同的版本,在处理过程中需明确区分二者。仅使用文件名可能不足,因为人们在发布修订版时常常重命名文件或重复使用名称。登记册应使任何人在后续审核回应时能够看到这些变更。
从规模较小的集合开始,以便审核人员能够理解。包括普通指南、包含表格的文档、更新通知以及包含明确例外情况的页面。记录每项内容为何属于该集合。这种选择有助于测试条件与声明之间的关系。在评估过程完成后再扩展集合大小 允许使用,而非让大量导入内容掩盖关于应用程序应知晓的基本问题。
在预期表述之前明确预期依据
对于每个评估问题,找出支持答案的段落。记录关键事实、相关说明以及尚未获得的信息。某些答案可能表达相同的正确含义,因此一个简洁的参考段落不应成为唯一可接受的表述方式。证据注释为评审者提供了更稳定的判断依据,也便于区分风格偏好与事实或解释上的错误。
考虑一个关于某个功能是否无需额外配置即可工作的假设性问题。一份发布指南描述了该功能,而后续通知则引入了必需的设置。预期依据包括相关文档及其关联信息。如果答案只提及功能而忽略设置,则不完整。还包括 关于该功能未包含于集合中的问题;其预期结果应明确说明现有材料无法提供答案。
独立进行解析检查
在运行答案评估之前,需检查来自代表性源页面的内容。注意阅读顺序、表格标题、单位、标题以及异常提示等细节。在所选处理路径能够保留页面或章节信息的情况下,请保留这些信息。如果检索到的文本已经改变了条件或将值与其标签分离,后续生成优化可能会掩盖问题,而无需修复基础证据。
应建立一份包含源标识符、位置、观察结果及可能后续影响的解析缺陷记录表。重复的页脚和缺失的否定标记应给予不同优先级。更改解析器或其设置后,需重新检查相同案例,并记录优化与回归情况。此流程是 应用级推荐;具体的检查接口及可用元数据取决于 RAGFlow 版本与部署方式.
在生成文本前先评估检索到的材料
针对每个问题,在阅读生成的答案之前先检查返回的段落。判断必要证据是否出现、其条件是否保持完整以及无关版本是否在候选集中占主导地位。将缺失的证据与干扰性证据分开记录。这两种问题可能需要不同的调整,将它们合并为单一评分可能会掩盖答案失败的原因.
一次只改变一个与检索相关的因素,并保持问题不变。可能的实验包括文档准备、段落边界或部署中可用的检索配置。记录具体的更改及受影响的题目。如果正确的段落出现在候选中但失去了上下文,简单地返回更多文本可能会加剧问题 noise. 应利用实际候选段落中的观察结果来决定下一次实验,而非同时调整多个参数。
依据检索到的证据评判答案
当有用的证据可用时,需逐一审查答案中的各项主张。检查该回答是否保留了版本限制、例外情况及不确定性。引用出现情况及与引用的相关性应分别进行核查。即使文档不支持某陈述,仍可以提供真实文档的链接。要求评审者指出支持每项重要陈述的段落,尤其是那些可能改变读者下一步行动的陈述。
在呈现中需区分直接事实、合理的综合分析以及编辑建议。如果应用提供了建议,应明确其假设。证据不足的问题应仍属于常规评估范围,因为无依据且流畅的答案可能会从报告结果中消失。评审者 还应注意那些将各个真实的段落组合成一种实际上并未被任何段落证实的结论的回答。
访问权限与失败边界的测试
使用无害的测试文档并区分不同的测试身份,以检验预期的访问模型。明确每个身份可以获取哪些文档,然后检查搜索结果、答案引用和直接链接。在测试中包含权限变更环节。如果某个文档从导航列表中消失,并不能证明所有检索或缓存回答路径都遵循了这一变更。任何未经过验证的访问路径都应被记录为待解决的问题项。
测试不可用的模型服务、空的检索结果以及格式错误的源材料。面向用户的响应应清晰说明操作失败的原因,以便进行修复。如果检索请求失败,不应基于无关知识默默地生成看似有效的答案。诊断记录的完整性应得到保障:请求 标识符、阶段结果和错误类别通常有助于调查分析,无需在常规日志中显示完整源文本。
将验收结果转化为维护实践
将评估问题、证据注释、配置记录以及评审者的决定整合在一起。在文档变更、模型变更或处理设置变更时重新审查这些记录。在依赖综合数字之前,按错误类别报告结果。精心整理的少量案例可以指导改进,其有限的覆盖范围仍应被记录。它无法为所有文档或用户问题提供普遍可靠性保障。
发布决策应说明哪些部分得到改进、哪些仍不确定以及如何撤销有问题的变更。明确划分更新文档登记册和淘汰过时证据的责任。有用的结果在于,该助手的答案可以通过清晰的资料链进行调查和修正 决策。这使得评估集成为团队的操作工具,而非仅用于展示的示例集合。
原始资料:infiniflow/ragflow 官方仓库 ↗。检查日期为 2026 年 11 月 13 日。
编辑说明:这是一份基于人工智能辅助编写的原创 COTCC 网站与团队指南,并已与原始资料进行核对。各种场景和验收标准均为编辑提案,并非实际部署或基准测试结果。请查阅当前项目文档以了解功能、许可和成本情况。
讨论 0
最早优先登录 后参与讨论。
还没有公开评论,欢迎开启讨论。