为什么需要一套“模型智商”评分

打开任何一家大模型厂商的发布会，PPT 上都是“我们全面领先”。问题是，每家的对比图用的题库、评分口径、采样设置都不一样，横向比基本没有意义。

Artificial Analysis 做的事情，就是把这件事标准化：用一套公开的题目集合、统一的推理参数、可复现的评分规则，给市面上的主流模型打一个综合分。最近他们更新到 Intelligence Index v5.0，并公开了完整的方法论页面。对做模型选型的人来说，这页内容值得认真读一遍——不是看排名，而是看排名是怎么算出来的。

一套评测分数由哪几块拼成

拆开看，这类综合指数通常由三部分组成：

第一，能力维度。 单一题库很容易被“刷”，所以指数会覆盖多个方向，比如通用知识问答、数学与逻辑推理、代码生成、指令遵循、长文本理解等。每个维度单独出分，再加权合成总分。

第二，题目来源与难度分布。 题目如果太简单，所有模型都接近满分，区分度就没了；太难则全是零分，同样看不出差距。方法论里会说明题目如何筛选、难度如何分层、是否包含对抗性样本，以及如何避免训练数据污染——这一点在大模型时代尤其关键，公开题库一旦进了预训练语料，分数就失真了。

第三，运行与评分规则。 温度设多少、是否允许思维链、多次采样取平均还是取最优、错误答案怎么扣分，这些细节对最终排名的影响可能比模型本身的差距还大。v5.0 的方法论把这些参数摊开写，目的就是让别人能复现。

看榜单时最容易踩的三个坑