Long-Horizon Terminal-Bench

样例运行

前沿模型玩超级马里奥

在 46 项 Long-Horizon Terminal-Bench 任务中,有一项 super-mario 要求智能体真正去 玩这个游戏——在整整 90 分钟预算里,通过终端逐回合地下达操作。运行结束后, 隐藏验证器会在一个固定种子的引擎里回放智能体自己的操作日志,并把结果渲染成视频。 这里没有任何手工制作的内容:下面每一段视频都是某个模型的真实通关过程, 与打分器所见的完全一致。

每张卡片上的数字,是该次运行在 [0, 1] 区间内的归一化 super-mario 奖励: 完整通过的关卡数,加上当前关卡内的分数进度,再除以三关的通过上限 (通关至世界 1-3 = 1.0)。我们也标出了每个智能体实际走了多远。 值得注意的是,只有四个模型曾通过世界 1-1——大多数都死在第一关。

排序

共展示 17 个模型,每个均来自在共享 Terminus-2 评测框架下的一次 90 分钟尝试。 视频为网页重新编码(360p,静音);原始的 agent_play.mp4 在每次运行的验证器输出中实时渲染。 GLM 5.1 和 Grok 4.5 未收录(暂无可用的渲染回放)。

好奇整套任务的其余部分如何构建与打分?阅读报告 →