VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions

核心要点

问题/背景

这篇论文补齐现有 agent benchmark 的盲区：多数 benchmark 测 reasoning/tool use，但很少测长期用户交互中的个性化建模和主动补全信息。

方法/机制

VitaBench 2.0 把任务组织成个人用户的时间序列，偏好分散在碎片化互动中，agent 必须持续抽取、更新和使用这些偏好。

结果/证据

它还评估 proactiveness：agent 需要识别缺失信息，并主动向用户或环境获取，而不是盲目执行。

收录价值

收录价值在于它为 personalized/proactive agents 提供了长期交互评估接口，并带有可控 memory interface，适合比较不同记忆架构。