社区帖子

构建支持实际发布决策的 promptfoo 回归集

将代表性任务、证据审核和人工审查与模型或提示更改的后果联系起来。

明确成功应用的功能

promptfoo 提供了用于评估语言模型应用的工具,包括针对提示与模型的比较。当测试集能够反映应用的真实功能时,这些功能就更加有用。本文提出了一个回归流程,用于处理汇总公开产品公告的假设助手。该方案提供了一种编辑评估设计,但不声称有实际改进、完整的红队评估或任何模型或应用的特定可靠性水平。

在收集示例之前,应制定应用合同。明确允许的来源、所需输出、目标受众以及可能造成最大损害的错误。摘要可能需要保留日期和条件信息,同时明确标注无法获取的信息。另一应用可能强调严格的机器可读取结构。应单独定义这些要求,以便基于实际依据做出发布决策。 人们需要的服务,而非对流畅文本的一般偏好。

收集具有实际意义的案例

从预期任务中的示例开始,使用公开或经适当授权的材料。包含清晰的公告、长输入内容、修改后的声明以及来源中未给出的答案。说明每个案例为何属于该集合。即使样本数量较少,如果涵盖不同的故障机制且评审人员清楚未测试的内容,仍具有参考价值。

避免仅从一次调试过程中发现的故障构建整个集合。这些案例很重要,但有限的样本可能会过度强调一个问题,而忽略常规工作。设立常规任务、已知的回归问题、复杂的边界情况以及无支持的请求等类别。如果示例来自不同的用户群体或语言,应明确显示这种覆盖性。一个群体的结果不应被当作所有目标用户的结论。

在查看候选人输出前明确预期

对于每个案例,列出必需的事实、相关资格、可接受的不确定性以及禁止的未经证实的补充内容。当来源提供多种正确的表述时,记录必须保留的含义,而不仅仅是某个理想的句子。将预期证据与案例一起保存,以便评审者能够区分事实上的分歧和对措辞的偏好。这也有助于未来的维护者在来源本身发生变化时修改测试。

假设有一个公告说明某个功能仅限有限群体使用。如果回应中提及该功能但省略了这一条件,则应被标记为特定失败。添加配对案例来询问超出公告范围的可使用性;预期回应应说明来源并未明确这一点。这种配对可以揭示是否提示器保留了边界,而不是仅仅因为答案提到了正确的产品名称而给予奖励。

分离结构、证据与实用性

不同的评估检查用于解答不同问题。结构检查可确定是否存在必要字段或输出是否符合约定格式。证据检查则判断声明是否得到支持以及条件是否得到保留。人的实用性包括清晰度、相关性以及结果能否帮助目标读者完成任务。应让这些类别清晰可见,而非假设通过某一类别就必然通过所有其他类别。

当自动断言合适时,需说明其测量内容及无法确立的内容。在其他情况下可能具有误导性的答案中可能会包含必要表述。正确构造的实体也可能包含虚构事实。选择与实际需求相符的检查方式,然后依据来源对代表性失败和成功案例进行审核。特定配置应遵循当前 promptfoo 文档以及应用程序选择的提供方和运作方式 环境.

将基于模型的评分视为评估的一个组成部分

当其他模型对答案进行评分时,应明确其评分标准,并观察该模型如何应用这些标准。包含那些表述精炼但无依据的陈述与那些不够优雅但内容准确的答案示例。思考评分模型是否以证据为代价,通过鼓励自信、强调长度或风格相似性来奖励学生。评分模型的输出是评估系统中的另一种判断,因此需保留足够的信息以便与人类评审者进行讨论,以查明差异之处。

在过度依赖自动化判断之前,先进行简单的校准练习。让评审者对相同示例进行评估,比较理由,并明确模糊的标准。记录未解决的争议点,而非试图将每个案例都归为简单的共识分数。这一程序是编辑的建议,并非意味着可以消除主观性。其价值在于使发布决策的来源更清晰,也更容易被建设性地质疑。

比较 在记录良好的条件下进行修改

每次运行时,记录提示版本、模型身份、相关生成设置、源文件修订及评估配置。当目的是了解某一因素的影响时,应一次只改变一个重要因素。如果发布需要多个变更同时发生,需如实描述这些变更,并避免在没有额外证据的情况下将结果归因于单一因素。保留各个输出结果,以便将总结分数与具体案例关联起来。

生成的响应可能会有所不同,因此应选择符合应用需求和可用预算的观察策略。不要暗示某次运行就能在所有条件下形成稳定行为。记录所有重复运行的实验及其结果组合方式。仅当通过有记录的方法收集时,才包含实际使用量和时间测量数据,并将提供商的定价假设与观察到的消耗情况分开。这样就能避免便利的估计成为没有依据的运营声明。

明确发布阶段的里程碑

在审查候选结果之前,先列出可能阻碍发布的因素。关键的新发现或访问失败问题可能需要与轻微格式问题不同的处理方式。将各种阈值作为应用决策的依据,并对应错误成本给出理由。综合平均值有助于总结进展,而审核人员仍需关注那些具有重大影响的类别和案例。

准备一份说明改进措施、回归情况、未解决案例及接受的局限性决定的文档。如果候选者改善了常规总结,却恶化了无支持依据的问题,需明确这种权衡。团队可能会决定修改变更内容、增加审核步骤或限制其范围。这些都是基于评估证据的产品和运营判断;测试框架不会消除这些责任。

发布后保持该集合的实用性

添加新发现的失败案例及其相关信息 来源背景与说明。当文档发生变化时,移除或更新示例,同时保留足够的历史信息以理解之前的决策。将部分评估材料置于即时提示调整流程之外,以避免重复编辑仅针对记忆中的示例进行优化。在团队流程中描述这种分离,而非假设测试文件的存在会自动产生独立验证。

最终的评估包应使另一位评审员能够重建发生了什么变化、进行了哪些测试以及为何接受发布。包含应用合同、案例、证据、配置记录及决策说明。如此,有用的回归集便成为日常维护的一部分:它使权衡关系清晰可见,保留从错误中获得的经验,并为未来的变更提供一致的比较基准,同时不会过度夸大有限示例集合的覆盖程度。


原始来源:promptfoo/promptfoo official repository ↗. 检查日期:2026年11月13日。

编辑说明:这是一份基于人工智能辅助编写的原始 COTCC 网站团队指南,已与主要资料进行核对。各种场景和验收标准均为编辑提案,并非实际部署情况或基准测试结果。请查阅当前项目文档以了解功能、许可和成本信息。”}

讨论 0

最早优先

还没有公开评论,欢迎开启讨论。

发布