对应论文

Fantastic Adaptive Taxonomies and How to Use Them

视频简介

智能体系统执行轨迹记录了失败模式,但原始轨迹冗长、实例化且缺乏稳定词汇,不利于积累反馈。现有方法利用轨迹进行搜索、提示优化和运行时监控,但缺乏统一的故障表示。 本文提出AdaMAST,从智能体轨迹中自动诱导紧凑、基于证据的失败分类法:沿系统级、角色特定和领域特定三个轴组织故障代码,所有名称和定义均由数据自动生成,无需人工注释。该分类法作为共享反馈接口,可用于智能体搜索、运行时修复和轨迹选择。 实验表明:在SWE-bench Verified Mini上,分类法反馈将SWE-agent的解决率从60%提升至70%,Claude Code从64.0%提升至70.7%;在Terminal-Bench 2.0上,基于分类法的验证器将best-of-5准确率提高8-15个点。分类法在保持高区分度的同时实现数量级压缩,且与专家标注的一致性优于手工词汇。 自适应失败分类法弥合了轨迹生成与改进过程之间的鸿沟,为智能体调试提供了一种可重用、可扩展的范式。但当前验证集中在代码和终端任务,未来需扩展到更广泛的智能体系统和物理世界场景。

外部视频链接

论文链接