评测报告 · 腾讯混元大模型前沿 · 2026 年 7 月
Long-Horizon Terminal-Bench
衡量智能体能持续推进多远，而不只是它能完成什么。
大多数智能体基准几分钟就结束。真实的终端工作却未必如此。Long-Horizon Terminal-Bench 把智能体丢进一个 Docker 容器，给它一个需要 数百个前后依赖动作才能达成的目标——从零构建一个系统、在破坏性变更之间迁移一个真实框架、 一步一步地玩一个游戏——然后用一个 隐藏、防作弊的验证器为它打分， 并给予连续的部分分。我们让 18 个前沿模型 在同一套评测框架下运行。没有一个能通过哪怕三分之一的任务。
一分钟速览
- Long-Horizon Terminal-Bench (LHTB) 是一套包含 46 项高难度、可复现终端任务的基准， 覆盖 9 个类别，专门设计来抵抗记忆、抄近路和奖励作弊。每个任务都给出连续的部分分， 而不是二元的通过/失败。
- 我们在同一套统一评测框架（Terminus-2）下评测了 17 个前沿模型： 每项任务一个容器、90 分钟预算、隐藏验证器。
- 前沿模型的上限也不到满分的一半：最好的模型（Claude Opus 4.8）平均只得 0.49，最高解决数为 46 项中的 12 项（Claude Fable 5）。 46 项任务中有 29 项从未被任何模型通过。
- 价格并不等于性能：MiniMax M3 以约每项任务 6 美元拿下 0.39—— 领先于每项 28 美元的 GPT-5.4 及其他更贵的模型。信号藏在部分分里， 而二元指标几乎看不出差别。
“长程”到底有多长？
把全部 46 项任务各跑一遍，每个模型需要 53–71 小时的墙钟时间。单个任务平均耗时 69–93 分钟、约 120–320 个智能体步骤——这正是模型必须稳住、不能中途断线， 直到隐藏验证器最终看到结果的那个循环。
每个模型跑完一轮的规模
在 46 项任务上平均 · 每项一次 90 分钟尝试
第 01 部分
智能体崩溃在长程，而非任务本身
让一个前沿模型修复一个失败的测试，它通常能做到。让它花一个下午把一个科学代码库恢复到数值一致—— 运行仿真、阅读回归、调整、再运行——就会发生不一样的事。模型并不缺乏知识， 它是丢了线索：状态漂移、先前的决定被遗忘、探索变成了打转，预算烧光时目标才完成一半。
现有的终端基准很少见到这种失败模式，因为它们的任务可能很短。 一个十几个动作就结束的任务，只衡量智能体能否开始工作， 却完全说不清它能否持续下去——把状态贯穿数百步、 从死胡同里恢复、并知道自己究竟何时真正完成。
LHTB 正是为衡量这一区间而建。三条设计主轴贯穿每一个任务： (1) 长程——解法需要数百个前后依赖的动作和持续的状态； (2) 抗性——隐藏验证器、确定性种子和基于回放的打分，让记忆、抄近路和奖励作弊无利可图； (3) 分级奖励——为部分进度给出连续分数，因此即便无人通过，基准也能给模型排名。
第 02 部分
基准：46 项任务，9 个类别
每个任务都遵循同样的约定：一个 Docker 容器、一份指令文件、一个实时环境， 以及一套对结果打分的隐藏测试。46 项任务横跨九个类别——软件与逆向工程、科学计算、 地球/气候与能源、多模态与图像、研究复现、系统与安全、专业（APEX）工作流， 以及另外两类需要持续交互而非单一产物的任务：逐回合进行的交互式游戏， 以及靠搜索与推理求解的逻辑与约束谜题。
规模
46 项任务 · 9 个类别
从框架迁移、芯片设计签核，到地震回归审计和玩 2048。
打分
隐藏、防作弊的验证器
确定性回放、固定种子环境、留存答案。声称的进度不算数——被回放出来的进度才算数。
奖励
连续，0 → 1
每个任务按分段或比例给部分分；奖励 ≥ 0.95 记为解决。
这 46 项任务涵盖了什么
各类别的任务数
第 03 部分
一个任务的剖析
理解设计最清晰的方式，是看一个具体任务。在
unison-paper-reproduction 中，智能体要在不给原始实现的前提下，复现
UNISON
论文中的一个实验。
复现 UNISON 胖树实验
仅凭论文，构建一条并行仿真流水线，运行胖树 MTP 实验（k=4，4 线程，种子 7），并在容差内匹配参考指标——232 条流、6,254,916 个事件、14.46 Gbps。
- 环境
/app中有一个骨架项目；智能体必须实现拓扑生成、LP 划分、确定性执行与调度。- 交付物
- 一个
run-fat-treeCLI，外加unison_report.json和summary.csv，包含 LP 计数、调度器统计和一个确定性校验和。 - 验证器
- 六项隐藏检查覆盖指标保真度、非平凡的 LP 划分与调度、同种子的确定性，以及在隐藏种子下合理的指标变化。
- 奖励
- 通过检查的比例；即使一条确定性流水线没有命中目标数值，仍可获得部分分。
第 04 部分
评测设置
只有当脚手架完全一致时，比较才有意义。每个模型都跑同一套 Terminus-2 评测框架——相同的提示、相同的解析器、相同的摘要策略—— 唯一的区别只是背后的 API 端点。没有模型专属工具、没有定制智能体、也不会对失败的运行重跑。
评测框架
Terminus-2，所有模型一致
JSON 动作解析器、主动的上下文摘要、完整的终端会话录制。
预算
每项任务 90 分钟
一次尝试。超时也保留其部分分——即截止时验证器能回放出的部分。
指标
平均奖励 · 解决 @ ≥0.95
错误记 0 分。46 项任务的平均奖励是头号数字；解决数则是更稀疏、更严苛的视角。
第 05 部分
结果
结果 1 前沿模型的上限不到满分的一半
在全部 46 项任务上取平均，最好的模型拿到的奖励也不到可得分的一半。两个 Anthropic 模型领先， GPT-5.5 紧随其后，一批强大的开源权重与中国前沿模型则密集地落在 0.25 到 0.39 之间。 第一名到最后一名的差距接近 2.5 倍——这个基准远未饱和。
排行榜 — 46 项任务
46 项任务的平均奖励 · 解决 = 奖励 ≥ 0.95 · 同一套评测框架
结果 2 部分分显示出信号
一次性看全部 782 次「模型 × 任务」的运行，分级奖励的理由便不言自明。 只有 7% 的运行越过了解决阈值——在二元打分下，这个基准 93% 的部分会变成难以区分的零。 连续奖励把这团质量摊开：一半以上的运行落在低部分分区间（0–0.25）， 在这里模型之间的差别，就在于它们丢线索之前能走多远。
782 次运行落在哪里
按奖励区间划分的全部「模型 × 任务」运行占比
未被攻克的前沿
46 项任务中，有多少被任一模型解决过？
最难的任务要么需要持续的定量反馈循环——运行、测量、调整、再运行—— 要么需要从非文本模态中提取证据。
| 最难的任务 | 领域 | 均值（17 个模型） | 最佳单次运行 |
|---|
robotics-slam-benchmark-repair 上，最好的模型也只拿到 0.03。
另一端，spot-scheduler-traces（均值 0.96）和 nbody-accel-iterative（0.93）
则说明：当反馈信号清晰可读时，这些模型是能执行长任务的。
结果 3 价格不等于性能
成本这一维讲着它自己的故事。每项任务的花费相差近 30 倍（从 Hy3 的 2.5 美元到 Claude Fable 5 的 73 美元），而平均奖励只跨越 2.5 倍。Anthropic 模型用最大的预算 （每项 38–73 美元）买来了领先。一批每项 4–12 美元的模型， 则以大约六分之一的成本，交付了领先者 60–80% 的分数。
平均奖励 vs. 单任务成本
成本为对数刻度 · 越靠左上越好
第 06 部分
要点
- 长程完成才是真正的瓶颈。各模型的运行平均达到 231 步、990 万 token、85 分钟，可最好的模型在奖励=1.0 下仍只解决 46 项中的 7 项。
- 大多数失败不是当下的错误，而是没做完的工作：79% 未解决的运行是在智能体仍在积极推进时超时的。
- 在这个难度下，密集奖励必不可少。在严格的满分阈值下，十五个模型中有十个一项都解决不了，尽管它们的许多运行都取得了可观的部分进度。