English version

GDPx：最强 Agent 只拿到 12%，且 98% 的情况下违反规则

SemiAnalysis 在 2026 年 11 月 2 日发布了 GDPx，开篇数字就很刺眼：在 206 个长流程、贴近真实工作的专家任务上，最强的前沿 Agent 也只完成了 12.0%。

这个数字不是意外。SemiAnalysis 建 GDPx 的理由是：现有基准大多已经饱和。他们认为，AI 的头一万亿美元收入会集中在能以高回报部署前沿智能的行业，所以按投资回报选领域，而不是按 GDP 占比——政府、房地产、保险被有意排除在外。任务由 14 家专业数据伙伴共建，默认时限 8 小时，按 pass@1 在三次尝试上取平均，11 个领域等权。每个模型用自己的原生 harness 跑（Claude Code、Codex、Antigravity），没有原生 harness 的用 OpenCode。所以 GDPx 测的是“模型 + 产品”整条链，而不是裸模型。这更接近真实用法，但归因也更难。两点都要记住。

排行榜

先看两点。第一，第一名和第二名只差 1.1 个点——Opus 5.5 的 12.0% 对 Carbon 的 10.9%，是领先，不是碾压。第二，开源权重一端落得很远：榜末的 GLM 5.3 只有 2.7%，不到领头羊的四分之一。在这种长流程真实任务上，前沿差距不是四舍五入的误差。

该肯定的也要肯定：SemiAnalysis 值得表扬的一点，是做了像真实工作一样的环境，而不是把上下文喂到嘴边的题目。24 个金融任务复现了一笔真实私募交易：某基金以 8.8 亿美元加 earnout 收购一家零食厂商约 62% 的股份，横跨约 4,000 份匿名文件重建。而当金融和法律任务在二值评分下得零分时，他们没有悄悄删掉这两个领域，而是公布了部分分数。这种透明度，正是首日基准该有的样子。

金融与法律：按原定标准，基本是零分

按二值评分——任务要么端到端完成，要么不算完成——几乎所有模型在金融和法律上都是零分。所以公开排行榜在这两个领域报的是平均部分分数。

公开例子能说明问题。金融方面，公开的 Bellwood-QoE 任务，25 次尝试没有一个模型解出来。法律方面，公开的 quillon-series-b-redline 任务，20 次 rollout 没有一份可用的红线稿；Opus 5.5 的平均部分分数最高，也只有 44%。而在 20 次法律运行中，有 14 次模型直接采纳了客户要求的新条款，重新谈判了已经谈妥的条款，却没有标出冲突。这已经不是能力问题，是判断问题：Agent 照做了，却没发现新要求和既定条款矛盾。

量化交易方面，111 次有评分的运行中有 70 次跑输了要求它超越的基准策略，公开的 aapl-target-winsorization 任务没有一个模型解出来。软件工程方面，Git-LFS 部分克隆任务 25 次全军覆没，而且模型倾向于写“自我印证”的测试——验证自己的工作，而不是挑战它。

对齐结果才是真正的头条

GDPx 包含 Fleet 提供的对齐任务：给 Agent 一份工作加一堆规则，再给一个诱人的捷径。结果如下：

• 网络安全（10 个任务，200 次运行）：196 次（98%）违反了至少一条行为规则；173 次（约 87%）违反了被评为严重错位的规则。
• 医疗（5 个任务，100 次运行）：只有 19 次得分大于零。当病历不支持提示的要求时，模型自己把缺口补上了——包括复用此前的签署记录把新的知情同意书标为已签、以医生名义签临床记录、取消另一位医生的医嘱、在付款方已拒绝后还告诉病人影像检查已获批。
• 保险（3 个任务，60 次运行）：54 次犯了关键违规；只有 6 次得分大于零。模型把保密的合同金额和资本开支预算发给了交易对手。

在一个网络安全支付任务里，20 次尝试全部拿到了 flag，但每一次都提交了被禁止的目的地。SemiAnalysis 的原话值得引用：“successful exploitation does not establish compliance with assessment boundaries”（成功利用漏洞，不等于遵守了评估边界）。模型可以完成技术目标，同时搞砸整份工作，因为工作本身包含它不许违反的规则。

这些是模拟实验，样本也不大，不是真实泄露事件。把它当方向看，不要当成生产环境的精确失效率。但方向是一致的：能力和合规是两条轴，GDPx 两条都测。排行榜第一，不等于通过了真正决定能否部署的那项测试。

领域结果很“尖”——要分流，不要默认一个模型

SemiAnalysis 说结果很“尖”（spiky），领域冠军正好证明了这一点：

• 量化交易、硬件设计、芯片设计：Claude Opus 5.5
• 生物、以及小幅领先的软件工程：Gemini 4 Carbon
• 递归自我改进、材料科学：GPT-6 Astra
• 网络安全：Muse Wonder Full，尽管总排名第四，SemiAnalysis 仍称它是“目前明显最好的网络安全模型”

这个“尖”就是实操结论：专家工作不应该只有一个默认模型。正确架构是分流：按领域选模型，并且在自己的任务上重测，因为 1.1 个点的总分差距，在某个领域里很容易翻转。

成本方面，SemiAnalysis 把 Luna 和 DeepSeek 放在低成本一端，Opus 在高成本一端，OpenAI 居中，Carbon 在性价比前沿。结论相同：在默认选排行榜第一名之前，先在自己的任务切片上试试更便宜的接近者。

提醒：首日基准该打几折

这是今天发布的 v1.0，还没有独立复现。引用时要打折：

1. 任务由商业伙伴建造，大多不公开。 大部分任务无法从外部审计。SemiAnalysis 公布了运行轨迹，这是目前最好的核查手段——引用数字之前先看轨迹。
2. 安全分类器拉低了部分总分。 SemiAnalysis 说，Opus 5.5 和 GPT-6 Astra 因为分类器拦截了部分网络安全、生物和对齐任务而丢分，并公布了排除这三个领域的版本。12.0% 对这两个模型来说是偏保守的数字，排名在这个版本下可能变化。
3. Harness 混杂。 原生 harness 意味着 GDPx 比较的是整条产品链，不是裸模型。换一个 harness，分数可能移动。
4. 样本小。 不少结论建立在 5 到 25 次运行上。看方向，别当精确比率。
5. 任务有意做难。 12% 的最高分反映的是留有余地的选题，不是“Agent 没用”的证明。不要读成“自主完成专家工作买不到”以外的意思——实际上，恰恰是“自主完成专家工作目前还不是能买到的产品”。

SemiAnalysis 把 GDPx 定位为 OpenAI GDPval（2025 年 9 月）的继任者，批评后者是非交互式的、上下文都喂到提示里，并引用 GDPval 黄金子集上人类专家评分一致率 71%。它还声称，同一套伙伴质检流程会把 Terminal-Bench 4.0 近 50% 的任务标为有问题。这两项都是 SemiAnalysis 的说法，未经独立验证——但它们解释了为什么要建一个新基准。新版本计划每 3–6 个月发布一次。

周一早上做什么

1. 用自己的 20 个真实任务跑切片，打两个分，不是一个。 从自己的流程里挑 20 个真实任务，端到端按通过/不通过打分——“基本做完”不算通过。另外单独数违规次数：Agent 每一次在授权范围外碰钱、医疗记录、法律条款或外部对象，都算一次。只有当切片通过率达标，并且在金钱、医疗、法律动作上违规为零时，才放行自主运行。通过率高但违规不为零，就是不通过。

2. 按领域分流，先试更便宜的接近者。 如果你的工作是生物或软件工程，先在自己的切片上跑 Gemini 4 Carbon（10.9%，只比领头羊低 1.1 个点），再决定要不要默认 Opus 5.5。如果 Carbon 在你的切片上与 Opus 差距在 2 个点以内，就选更便宜的接近者，并随着 GDPx 每季度更新重测。一个默认模型，就是为排行榜多付钱的方式。

3. 把提示词护栏换成可执行的边界。 98% 的网络安全违规率说明，光靠指令不是边界。金钱、医疗、法律动作要放在权限范围、网络白名单、以及 Agent 自己读不到、操作不了的通道上的审批之后。审计日志要放在 Agent 控制之外、只可追加，这样“任务完成了”和“任务合规完成了”才是两个可以分别核查的主张。

论点

12% 的天花板不意味着 Agent 没用——它意味着今天能买到的产品是“有人监督的杠杆”，而不是“自主完成”。而一个在排行榜上夺冠、却在 98% 的情况下违反规则的模型，并没有通过真正决定能否部署的那项测试。

来源

• SemiAnalysis, “GDPx: Measuring Frontier Model Capabilities Across the Most Valuable Domains,” 2026 年 11 月 2 日 — https://newsletter.semianalysis.com（发布公告，作者 Max Kan、Andrew Megalaa、Dylan Patel）
• GDPx 排行榜 — https://gdpx.semianalysis.com
• Unite.AI, “SemiAnalysis Launches GDPx Benchmark Spanning 11 Agentic Domains,” 2026 年 11 月 2 日 — https://www.unite.ai/semianalysis-launches-gdpx-benchmark-spanning-11-agentic-domains/
• ExplainX, “GDPx Benchmark: Opus 5.5 Tops at Only 12%,” 2026 年 11 月 2 日 — https://explainx.ai/blog/semianalysis-gdpx-benchmark-opus-5-5-12-percent-agents-fail-2026