收录解读
这篇论文重新定义了 agent、world model 和传统计算机之间的边界。它提出 Neural Computer(NC):让神经网络的潜在运行时状态同时承载计算、工作内存和 I/O,而不是让模型只作为外部操作系统、GUI 或工具链上的 agent。长期目标是 Completely Neural Computer(CNC),即具备通用可编程性、稳定执行、可复用能力和显式更新治理的 learned runtime substrate。
论文不是只给概念图,而是用 Wan2.1 视频模型构建了两个原型:NCCLIGen 用文本/初始终端帧生成 CLI 交互 rollout,NCGUIWorld 用屏幕像素和鼠标/键盘动作生成 GUI 交互 rollout。实验系统性评估了数据质量、caption 粒度、动作注入位置、动作编码和光标监督等设计变量,并指出当前模型主要学到的是 I/O 对齐、界面渲染和短时程控制,而不是可靠符号计算。
它值得升级为正式收录,并给 `disruptive`,因为它把“计算机使用智能体”的问题从外部软件栈操作,推进到“模型自身是否能成为运行时”的系统级问题重构。更重要的是,论文给出了一组可复用设计结论:高质量目标导向轨迹比 1400 小时随机探索更有价值;GUI 微操需要把坐标翻译成显式视觉光标;深层 action injection 明显优于浅层条件注入;reprompting 造成的算术提升应被解释为条件渲染而非原生推理。
它不是 `paradigm`,因为当前原型离 CNC 的核心要求仍很远:native symbolic reasoning 只有 4% 算术准确率,83% 的提升主要来自 reprompting/条件注入;能力安装、长期复用、行为一致性、run/update 边界和治理机制都还停留在路线图层面。它的价值在于建立一个强问题框架和早期工程约束,而不是已经实现了可替代传统计算机或 agent stack 的神经运行时。
原始摘要与中文对照
中文对照翻译
我们提出了一个新前沿:神经计算机(NCs)——一种新兴的机器形式,它在学习到的运行时状态中统一了计算、内存和I/O。与执行显式程序的传统计算机、作用于外部执行环境的智能体以及学习环境动态的世界模型不同,NCs旨在使模型本身成为运行中的计算机。我们的长期目标是完全神经计算机(CNC):这种新兴机器形式的成熟、通用实现,具有稳定的执行、显式重编程和持久的能力复用。作为第一步,我们研究了是否可以仅从收集到的I/O轨迹中学习早期的NC原语,而无需检测程序状态。具体来说,我们将NCs实例化为视频模型,这些模型在CLI和GUI设置中根据指令、像素和用户操作(如果可用)展开屏幕帧。这些实现表明,学习到的运行时可以获取早期的接口原语,特别是I/O对齐和短时程控制,而例行复用、受控更新和符号稳定性仍然是开放问题。我们围绕这些挑战概述了通向CNC的路线图。如果这些挑战得以克服,CNCs可能会建立一种超越当今智能体、世界模型和传统计算机的新计算范式。日期:2026年4月9日 通讯:mczhuge@gmail.com, cszhao@meta.com 博客文章:https://metauto.ai/neuralcomputer
原始摘要
We propose a new frontier: Neural Computers (NCs)—an emerging machine form that unifies computation, memory, and I/O in a learned runtime state. Unlike conventional computers, which execute explicit programs, agents, which act over external execution environments, and world models, which learn environment dynamics, NCs aim to make the model itself the running computer. Our long-term goal is the Completely Neural Computer (CNC): the mature, general-purpose realization of this emerging machine form, with stable execution, explicit reprogramming, and durable capability reuse. As an initial step, we study whether early NC primitives can be learned solely from collected I/O traces, without instrumented program state. Concretely, we instantiate NCs as video models that roll out screen frames from instructions, pixels, and user actions (when available) in CLI and GUI settings. These implementations show that learned runtimes can acquire early interface primitives, especially I/O alignment and short-horizon control, while routine reuse, controlled updates, and symbolic stability remain open. We outline a roadmap toward CNCs around these challenges. If overcome, CNCs could establish a new computing paradigm beyond today’s agents, world models, and conventional computers. Date: April 9, 2026 Correspond: mczhuge@gmail.com, cszhao@meta.com Blogpost: https://metauto.ai/neuralcomputer