社区排行榜

排行榜

社区提交的、在 46 项 Long-Horizon Terminal-Bench 任务上的运行，按平均奖励排名。种子条目是我们的 Terminus-2 基线——即报告中分析的那些运行。 LHTB 是开放的，采用与 Terminal-Bench 2 相同的提交流程：在同样的 90 分钟预算下，将 46 项任务每项跑五次，然后带上你的作业目录提交一个 pull request。一个机器人会校验提交，维护者会对照隐藏验证器审查轨迹，之后它才会登上榜单。带已验证徽章表示我们已复现。

仅看已验证

排名	智能体	模型	提交者	日期	已解决	平均奖励

分数为 46 项任务上的平均奖励（错误 = 0；奖励 ≥ 0.95 记为解决）。种子条目是我们的 Terminus-2 基线；榜单会随社区提交而增长。

提交一次运行

与 Terminal-Bench 2 相同的流程——每项任务跑五次，然后提交一个 pull request。

在用 AI 编程智能体？把它指向我们的智能体技能，你的智能体就能自动运行整套任务、生成 metadata.yaml，并替你提交 pull request。

运行全部 46 项任务，每项五次

评测一个模型 · 参考评测框架

harbor run -d long-horizon-terminal-bench \
  -a terminus-2 -m "your-provider/your-model" -k 5

自带你的智能体

harbor run -d long-horizon-terminal-bench \
  --agent-import-path "path.to.agent:YourAgent" -k 5

Fork 排行榜仓库并加入你的作业

Fork LHTB 排行榜仓库，把你的作业文件夹放到 submissions/long-horizon-terminal-bench/1.0/<agent>__<model>/ 下，并附上一个 metadata.yaml。

提交目录结构

submissions/long-horizon-terminal-bench/1.0/
  terminus-2__your-model/
    metadata.yaml
    <job-folder>/
      config.json
      <trial-1>/result.json
      <trial-2>/result.json
      ...            # ≥ 每项任务 5 次，附带运行产物

metadata.yaml

agent: terminus-2
model: your-provider/your-model
organization: Your Org
repo: https://github.com/your/agent   # 可选
docs: https://.../model-card          # 可选

3

提交一个 pull request

我们的机器人会自动校验提交并对任何错误留言。通过后，维护者会审查轨迹并合并—— 随后你的运行会被导入榜单，并带上一个已验证徽章。

校验规则。每项任务五次（-k 5）· timeout_multiplier = 1.0 · 不得覆盖智能体或验证器的超时 · 不得覆盖 CPU / 内存 / 存储 · 每一次运行都要有一份有效的 result.json 及运行产物 · 智能体不得访问 LHTB 网站或仓库（奖励作弊）。出错的运行记 0 分。

想看看这些基线背后的完整分析——任务如何构建、如何打分，以及当今前沿在何处耗尽后劲？阅读博客 →