同一个模型，换个 Agent 外壳成本差 17 倍：FrontierHarness 实测 12 套编码框架
· 来源：Hacker News
把同一模型套进 12 个编码 harness 跑同一批任务：通过率从 50.0% 到 66.7%，每任务中位成本从 1.05 美元到 18.34 美元——Codex 质量第一，Exo Harness 最便宜，Claude Code 以 63.3% 排第二但单价最高。
开发者上线了一个名为 FrontierHarness Eval 的公开评测站，回答一个被长期忽略的问题：在模型固定的前提下，你选哪套 agent 外壳（harness），对结果和账单的影响到底有多大。
答案是：影响很大，而且两个维度并不同向。通过率区间是 50.0% 到 66.7%，最好与最差之间约 1.33 倍；但每任务中位成本从 1.05 美元一路拉到 18.34 美元，跨度约 17 倍。
榜单上，Codex 以 66.7% 的通过率排第一，每任务中位成本 3.47 美元、中位耗时 6 分 43 秒，被标记为"质量领先"。Claude Code 与 DSH Creator 并列 63.3%，但两者的成本天差地别——DSH Creator 每任务 3.28 美元，Claude Code 则是 18.34 美元、9 分 38 秒，是全场最贵也最慢的一个。Pi 以 60.0% 通过率、2.43 美元的成本被评为"均衡之选"；Exo Harness 每任务仅 1.05 美元、通过率 53.3%，是成本领先者；DSH Minimal 以 5 分 41 秒的中位耗时拿下速度第一。其余参评的还有 DSH PTC、DSH Standard、Oh My Pi、Kimi Code、OpenCode 和 Hermes，后两者并列垫底的 50.0%。
这类数据的实际价值在于：团队在做 agent 选型时，往往只比模型能力，很少量化外层脚手架带来的成本乘数。当同样的模型因为 harness 不同而产生 17 倍的账单差异时，这个变量显然不该被默认忽略。评测的任务集、原始数据与方法说明都可在站点和其 GitHub 仓库查阅。