对应论文
EngiWorld: What Can Frontier Agents Deliver in Professional Engineering Environments?
视频简介
通用计算机操作的智能体已有进展,但专业工业工程软件自动化仍不可靠,因为工程工作流需要在CAD/CAE/CAM/BIM/EDA等不同软件和设计阶段之间保持几何与物理约束及依赖关系;现有评测缺乏覆盖完整设计回路的基准。 EngiWorld提出首个围绕完整设计回路的基准:包含1,301个专家任务,覆盖6个工程域、26个专业软件平台,并提供GUI与CLI接口和6种任务类型;同时引入工件中心评测方法,通过统一域验证器套件程序化检查中间/最终工件的几何有效性、物理可行性和规则符合性,并按规格达成度对定量设计任务连续评分。 对7个前沿模型的评测显示明显能力缺口:最强模型EngiScore仅44.3,多软件组合任务的端到端成功率仅3.6%,说明现有agent在工程软件上的自动化能力尚不能可靠完成跨阶段工作流。 该工作为专业工程软件端到端智能体提供了首个可量化评测底座,具有较高的基准与验证方法论价值;限制是公开材料仅能确认基准设计,未见代码/数据/验证器发布细节,也尚未展示后续社区使用或模型能力提升的证据。