对应论文
视频简介
现实决策常涉及隐藏信息,例如谈判、金融、竞争协作中不完全信息的博弈。Stratego作为大规模隐藏信息棋类,其开局隐藏配置超过10³³种,此前AI未能达到人类顶尖水平。 Ataraxos由策略-价值网络、信念网络和测试时搜索组成。信念网络利用自我博弈中的完整信息监督学习推断隐藏状态,测试时搜索从信念采样多个可能世界进行rollout,并使用磁镜像下降局部更新策略分布,实现高效决策。 Ataraxos在20局比赛中以15胜1负4平击败四届Stratego世界冠军,有效胜率85%,训练成本约8000美元,计算量比DeepNash低两个数量级。该方法还泛化至Barrage Stratego、Hanabi和dou dizhu,均取得超人类或SOTA结果。 该工作为大规模不完全信息决策提供了可复用的设计模式,但方法本质上仍是自我博弈强化学习与搜索的结合,并未引入全新的理论框架,创新程度属于颠覆性而非范式开创性。