样例运行
前沿模型玩超级马里奥
在 46 项 Long-Horizon Terminal-Bench 任务中,有一项 super-mario 要求智能体真正去
玩这个游戏——在整整 90 分钟预算里,通过终端逐回合地下达操作。运行结束后,
隐藏验证器会在一个固定种子的引擎里回放智能体自己的操作日志,并把结果渲染成视频。
这里没有任何手工制作的内容:下面每一段视频都是某个模型的真实通关过程,
与打分器所见的完全一致。
每张卡片上的数字,是该次运行在 [0, 1] 区间内的归一化 super-mario 奖励: 完整通过的关卡数,加上当前关卡内的分数进度,再除以三关的通过上限 (通关至世界 1-3 = 1.0)。我们也标出了每个智能体实际走了多远。 值得注意的是,只有四个模型曾通过世界 1-1——大多数都死在第一关。
共展示 17 个模型,每个均来自在共享 Terminus-2 评测框架下的一次 90 分钟尝试。
视频为网页重新编码(360p,静音);原始的 agent_play.mp4 在每次运行的验证器输出中实时渲染。
GLM 5.1 和 Grok 4.5 未收录(暂无可用的渲染回放)。
好奇整套任务的其余部分如何构建与打分?阅读报告 →