↑

匿名模型 Gestalt 登顶 Contra 设计榜:Elo 分超过人类参考作品

PromptTree|阅读 3
2026/11/21 07:36
Contra Labs设计评测AI 设计基准测试
匿名模型 Gestalt 登顶 Contra 设计榜:Elo 分超过人类参考作品
Contra Labs 于 11 月 18 日发布 AI 设计能力评测 Frontier Design Benchmark,代号 Gestalt 的隐身开发模型以 Elo 1931 分、90% 胜率登顶,超过人类设计师参考作品(1739 分)、Claude Fable 5.2(1713 分)与 GPT-6.1 Sol(1668 分)。评测含 33 项真实商业设计任务、35 名专业设计师、5 轮盲测共 4311 张投票。开发团队与模型架构尚未公开。

设计这个领域的 AI 评测一直难做,因为「好不好看」太主观。Contra Labs 试图用一套更接近真实委托的评测来替代提示词测试,结果跑出了一匹没人认识的马。

11 月 18 日,Contra Labs 发布 AI 设计能力评测榜单 Frontier Design Benchmark,与 BenchFlow 合作推出。榜单上排名第一的是一个代号 Gestalt、目前处于隐身开发状态(Stealth)的匿名模型——在专业设计师盲测中以明显优势登顶,超过 Anthropic 的 Claude Fable 5.2、OpenAI 的 GPT-6.1 Sol 等主流模型,甚至在设计师偏好评分中超过了人类设计师的参考作品。

具体分数:Gestalt 的 Elo 评分 1931 分,胜率 90%,位居第一。排名第二的是人类设计师参考作品 Human golden,Elo 1739 分,胜率 74%;Claude Fable 5.2 以 1713 分排名第三;GPT-6.1 Sol 以 1668 分排名第五。

评测设计是这份榜单最值得看的部分。任务共 33 项,其中 27 项改编自 Contra 平台上的真实商业设计委托,另外 6 项来自创业公司合作项目。邀请 35 名专业设计师参与,通过 5 轮盲测累计收集 4311 张投票。

三项指标各有分工:专业设计师双盲偏好投票、设计质量评价体系(Design Critique Rubric)、AI 痕迹检测器(Slop Detector)。Elo 评分根据设计师对不同作品的两两比较计算,涵盖色彩、字体、布局、可用性以及对任务要求的遵循程度。

在 Gestalt 与人类设计师参考作品的直接对决中,设计师在 28 次比较里有 20 次选择了 Gestalt。

但这里有个反直觉的细节:Gestalt 并非在所有设计质量指标上都赢了。在设计质量评价体系中,Gestalt 得分 83 分,Claude Fable 5.2 与 Claude Opus 5.5 均达到 84 分,而人类设计师参考作品为 74 分。也就是说,两个 Claude 模型在执行质量上略高于 Gestalt,但人类参考作品的质量分明显更低。

Contra Labs 对此的解释是:设计师的审美偏好与具体执行质量并不完全一致。人类参考作品虽然存在一些可以明确指出的执行问题,但在盲测中仍获得了较高的偏好票数。这恰恰暴露了「专业设计师投票」这一指标的天花板——投票衡量的是整体观感与可用性的混合体,不完全是技术执行。

第三项指标 AI 痕迹检测的结果也值得一提。Gestalt 生成结果的 AI 痕迹评分接近人类参考作品。这个检测器用分类模型判断作品呈现出多少 AI 生成作品的典型特征,评分越低意味着越像人做的。也就是说,Gestalt 不仅赢了偏好票,还没被检测器抓出明显的「AI 味」。

对行业来说,这个结果有两个含义。第一,「AI 设计一眼假」的判断正在失效。如果最强的模型输出已经能同时通过专业偏好与痕迹检测两道关,那么靠肉眼识别 AI 作品的做法不再可靠。第二,评测本身开始成为竞争的一部分——一份设计得足够贴近真实委托的榜单,会比任何厂商自评更有说服力。

需要明确的不确定性:Contra Labs 尚未公开 Gestalt 的开发团队、模型架构与具体身份,仅将其标记为 Stealth。模型的实际来源与背后团队仍有待确认。在身份揭晓之前,这个第一名应该被当作「一个匿名参赛者的成绩」,而不是某家公司的能力证明。

匿名参赛这件事本身也值得琢磨。它可能是某家实验室在上线前的盲测,也可能是团队刻意避开品牌偏见的手段——如果评测参与者知道作品来自某家知名公司,投票可能被声誉影响。用代号参评,至少把这一层偏差去掉了。

接下来值得观察两件事:这个代号什么时候揭晓;以及当更多模型以匿名方式进入这类榜单,评测机构会不会需要一套「身份核验与利益冲突披露」的机制。否则,盲测的公正性会变成新的问题。