1. 1

   运行全部 46 项任务，每项一次

   评测一个模型  ·  参考评测框架

   复制

   harbor run -d long-horizon-terminal-bench \
     -a terminus-2 -m "your-provider/your-model" -k 1

   自带你的智能体

   复制

   harbor run -d long-horizon-terminal-bench \
     --agent-import-path "path.to.agent:YourAgent" -k 1

   在智能体上用 override_timeout_sec: 5400 和 timeout_multiplier: 1.0 设置 90 分钟上限（与参考配置一致），这样你的运行才能与榜单可比。

2. 2

   整理作业目录——无需 fork

   LHTB 排行榜是一个 Hugging Face 数据集， 因此无需 fork——PR 会直接推送到仓库上的 refs/pr/N 分支（见第 3 步）。 只需在本地把你的作业文件夹放到 submissions/long-horizon-terminal-bench/1.0/<agent>__<model>/ 下， 并附上一个 metadata.yaml。

   提交目录结构

   submissions/long-horizon-terminal-bench/1.0/
     terminus-2__your-model/
       metadata.yaml
         <job-folder>/
         config.json
         <trial-1>/result.json   # 每项任务 1 次，附带运行产物

   metadata.yaml

   复制

   agent: terminus-2
   model: your-provider/your-model
   reasoning_effort: default             # 实际使用的推理档位：minimal/low/medium/high、adaptive、off 或 "default"
   organization: Your Org
   repo: https://github.com/your/agent   # 可选
   docs: https://.../model-card          # 可选

3. 3

   提交一个 pull request——无需 fork

   Hugging Face CLI 会把你的文件夹上传到新的 refs/pr/N 分支并一步开好 PR （也可在数据集页面用Community → New pull request）。

   上传并开 PR  ·  无需 fork

   复制

   pip install -U huggingface_hub && hf auth login
   hf upload IntelligenceLab/LHTB-leaderboard \
     submissions/long-horizon-terminal-bench/1.0/terminus-2__your-model \
     submissions/long-horizon-terminal-bench/1.0/terminus-2__your-model \
     --repo-type dataset --create-pr

   我们的机器人会自动校验提交并对任何错误留言。通过后，维护者会审查轨迹并合并—— 随后你的运行会被导入榜单，并带上一个 已验证 徽章。

校验规则。每项任务统一 90 分钟智能体预算（override_timeout_sec = 5400， 即所有榜单基线所用的统一预算）· timeout_multiplier = 1.0 · 每项任务一次（-k 1）· 标记了 continue_until_timeout 的任务会在 90 分钟窗口内持续尝试 · 不得覆盖 CPU / 内存 / 存储 · 每一次运行都要有一份有效的 result.json 及运行产物 · 智能体不得访问 LHTB 网站或仓库（奖励作弊）。出错的运行记 0 分。