二十年 Linux 技术服务专家 400-9696-513 7×24 小时技术支持

The New Stack:DeepSeek 编码智能体因收尾过于干净在基准上失分

The New Stack:DeepSeek 编码智能体因收尾过于干净在基准上失分

背景:包裹模型运行的智能体外壳(harness)越来越被看作与模型本身同等重要的变量,已有独立榜单在同一批模型上横向比较不同外壳。相关数据来自社区维护的外壳排行榜。

要点

  • DeepSeek 的外壳在任务结束时终止后台进程,其文档写明这类任务应与外壳进程共存亡。
  • Terminal-Bench 的 36 次尝试中,该外壳仅 2 次通过;OpenCode、Pi 与 Nous Research 的 Hermes Agent 全部 36 次通过。
  • 文章测算这一习惯带来约 1.5 至 1.7 个百分点的损失,超过 DeepSeek-V4.1-Flash 在高推理强度下与榜首约 1.3 个百分点的差距。
  • 在榜单覆盖的多项评测上,DeepSeek 的外壳总体与榜首处于同一水平,但单看 Terminal-Bench 仅排第 6。
  • 榜单同时给出成本差异:Pi 约每解出一题 0.29 美元,OpenCode 约 3.35 美元。

对企业 IT 的意义

智能体的进程与资源回收策略既改变可测量的能力表现,也改变生产环境的稳定性特征。选型时不能只看模型分数,需要把外壳的清理策略、权限边界与副作用处理纳入评测口径,否则基准结果与实际部署体验会系统性偏离。

出处:原文(The New Stack 报道)。

← 返回列表 咨询相关服务

相关阅读

电话咨询 留言
首页 服务 咨询 留言