SemiAnalysis发布GDPx基准:覆盖芯片设计、网络安全、金融等11个高价值领域,最强模型仅得12%
· 来源:SemiAnalysis
GDPx由14家专业数据公司供题,每题都带真实工作环境,Claude Opus 5.5以12%居首;金融和法律任务几乎所有模型按严格标准都是0分。
半导体研究机构SemiAnalysis于11月2日发布GDPx v1.0基准,目标是衡量前沿模型在“最有经济价值领域”的通用智能体能力。它覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程11个领域,并刻意不纳入政府、房地产和保险等行业。
SemiAnalysis认为,OpenAI一年多前发布的GDPval任务都是把背景资料直接塞进提示词、一次性产出文件,已不足以评估今天的智能体。GDPx的每道题都配有真实的工作环境:例如金融题基于一笔真实私募收购交易,模型要在约4000份匿名文件的交易资料室里自己查找信息;网络安全题基于真实零日漏洞,硬件设计题要在西门子NX等工业软件里操作。题目由14家专业强化学习环境公司提供,并经过严格质检。
结果显示,即使最强的模型也只得到约12%:Claude Opus 5.5综合第一,Gemini 4 Carbon和GPT-6 Astra紧随其后。各模型长短板明显:Opus 5.5在量化交易、硬件和芯片设计领先,Gemini 4 Carbon在生物和软件工程领先,GPT-6 Astra在递归自我改进和材料科学最强。金融和法律任务按严格的通过/不通过标准,几乎所有模型都是0分。
SemiAnalysis还指出,部分模型的安全分类器会在网络安全、生物和对齐相关任务中拒答,拉低总分。机构计划每3到6个月更新一次GDPx。同一天OpenAI公布了日常生活任务评测LifeVal,与GDPx形成对比。