terminal_bench: align Harbor Terminal-Bench 2 full dataset with the existing kit

[Shuo-O]

Issue Draft: 对齐 Harbor terminal-bench/terminal-bench-2 全量数据源到现有 terminal_bench kit

建议标题

terminal_bench: align Harbor Terminal-Bench 2 full dataset with the existing kit

背景

当前仓库里已经接入了 terminal_bench 这条评测链路，包括：

• terminal_bench benchmark kit
• terminal/fs surface
• installed-client runtime 路径
• native verifier
• 本地 smoke / acceptance JSONL 子集

但它还不是“Harbor 官方 terminal-bench/terminal-bench-2 全量数据集已经完整接入”的状态。

截至 2026-04-02：

• Harbor registry 页面展示 terminal-bench/terminal-bench-2 为 89 个任务
• 当前仓库内置 smoke 只有 1 条
• acceptance JSONL 只有两组本地 10 条样本子集

所以这个 issue 的边界应该是：

• 不是新增一个新 benchmark
• 而是把 Harbor terminal-bench-2 官方数据源，对齐到现有 terminal_bench kit 和 verifier 主链

为什么选 Terminal-Bench 2

Harbor registry 上能直接看到很多非常典型的 terminal task：

• configure-git-webserver
• financial-document-processor
• qemu-startup
• large-scale-text-editing

这类任务天然适合验证：

• shell / terminal 执行
• 文件系统读写
• workspace 变更
• agent 产物采集
• deterministic verifier

因此它适合作为“现有链路补齐官方数据源”的对象，而不是“重新发明一个 benchmark 接入”。

目标

把 Harbor 上的 terminal-bench-2 官方数据源对齐到现有 terminal_bench kit，形成：

• 可拉取或可导入的官方数据来源
• 与当前 terminal_bench verifier 兼容的 sample contract
• 比本地 smoke/acceptance 子集更接近真实 benchmark 的运行入口

建议范围

本 issue 包含

• 评估 Harbor terminal-bench-2 原始 sample schema 和现有 terminal_bench kit 的差异
• 在可复用的前提下补齐 loader / adapter / preprocessor
• 新增一份面向 Harbor 数据源的 smoke config
• 选取一小段官方样本跑通 native verifier
• 补单测和最小回归

本 issue 不包含

• 89 个任务一次性全部跑完
• 所有系统级任务全部覆盖
• 为远程沙箱能力做额外框架重构

建议实现策略

优先顺序：

1. 先判断 Harbor terminal-bench-2 sample 是否能直接复用现有 terminal_bench kit contract
2. 若能复用，优先做 schema adapter / loader，而不是新建平行 kit
3. 只有在 Harbor 数据格式明显不兼容时，再考虑引入 terminal_bench_2 alias 或单独入口

验收标准

• 至少一条来自 Harbor terminal-bench-2 的样本在本地稳定跑通
• native verifier 结果能标准化进 eval_result
• 产物路径与当前 terminal benchmark 链路保持一致
• 文档明确写出“当前本地子集”和“Harbor 官方数据源”的关系
• 文档明确写出“和现有 terminal_bench kit 的复用关系”

预期收益

• 把“已接入链路”和“未补齐官方数据源”这两件事分开
• 避免后续同学误以为 TB2 已经是完整数据集接入状态
• 更容易发现 loader、sample contract、artifact path 这些数据源对齐问题

参考链接

• Harbor registry dataset: https://registry.harborframework.com/datasets/terminal-bench/terminal-bench-2
• Terminal-Bench GitHub: https://github.com/laude-institute/terminal-bench