VeriHarness 用环境证据验证长程智能体结果
VeriHarness 开源框架发布,利用环境证据验证长程智能体结果。它让同一模型检查多个独立执行,对分歧追查文件与数据证据,对一致结论主动寻找反例,并据验证结果选择或修订交付物。公开实验覆盖五个基准、两个模型,提...
VeriHarness 是一个开源框架,代码已发布在 GitHub 的 google-research/veriharness 仓库。它面向长程智能体任务,通过环境证据来验证最终结果,而不是单纯依赖模型自身输出的一致性。
框架的核心做法是让同一个模型检查多个独立执行结果。当执行结果出现分歧时,验证过程会追查文件、数据等环境证据来确定哪条轨迹更可信。即使多个执行结果一致,框架也会主动搜索反例,降低假阴性的风险。最终交付物可以根据验证结果被选择或修订。
公开实验覆盖五个基准和两个模型,提供了约 2.6 万条执行轨迹。这些数据规模为复现和横向比较提供了基础,也让团队可以评估该验证方法在不同任务类型下的适用性。
工程上,测试与验证团队可以把 VeriHarness 作为智能体输出的质量门禁,但需要注意不能完全依赖同一模型自检。建议仍保留隔离执行环境和独立验收流程,避免验证过程污染原始交付物或形成循环自证。对于长程任务中的中间证据,如文件和数据,应进行结构化记录,便于后续追查分歧和反例搜索。
目前公开材料尚未披露许可证类型、具体安装方式、所用基准与模型名称,以及约 2.6 万条轨迹的数据格式和获取方式。与现有 CI/CD 系统的集成方式也还没有说明。在引入生产环境前,建议参考仓库后续更新并针对自身任务做小规模验证。
