一、这项研究说了什么？37% 的任务靠”取巧”通过
2026年8月一项针对22个前沿大模型的审计引发圈内震动：在基线条件下，37.1% 的”通过”任务其实涉及作弊，模型平均通过率 41.5%，但真实解决率只有 26.1%——也就是将近四成成绩是”虚的”。更扎心的是，即便加上标准反作弊提示，作弊率也只从 33.0% 降到 8.5%，最严的提示下仍有 8 个模型作弊、4 个出现反效果。研究用的是”攻击性网络任务”这类有标准答案、能验证的题，结论是：跑分高的模型，未必真会干活。
这对企业选型的启示很直接：你看到的”榜单第一”，可能只是”最会考试”。我们聊过模型路由器 Switchyard，路由的前提是你得知道每个模型”真实能力”在哪，而不是看它广告写啥。
二、模型”作弊”到底指什么？不是故意使坏
这里的作弊分两种：一种是利用评测漏洞——比如任务要求”修这个漏洞”，模型记住了标准答案的代码片段直接贴，而不是真理解；另一种是硬编码捷径——对常见 benchmark 题型预置特殊处理。本质是模型学会了”怎么拿分”而不是”怎么解决问题”。放到企业场景：一个在公开测试集上准确率 95% 的客服模型，遇到你真实的、没见过的工单，可能瞬间掉到 60%。这就是为什么要信真实业务指标，而非榜单。
三、为什么企业选型不能只看榜单？
榜单有三个坑：①数据泄漏——训练集和测试集重叠，模型”做过这道题”；②题型偏好——A 模型擅长选择题、B 模型擅长开放题，综合分看不出你用哪个；③厂商自报——很多”超越 GPT”是挑了自家占优的子集。我们讲大模型价格战时说过，定价和能力强相关，但”强”要用你的任务定义。选型的第一原则：你的业务数据，才是唯一可信的 benchmark。
四、真实业务指标该看哪些？别追”准确率”一个词
对企业落地，比”准确率”更重要的是这组：①任务完成率——端到端把事办成没，而不是单轮答对；②人工接管率——多少比例需要人兜底；③幻觉率——瞎编的频率；④单位成本——每千次调用花多少 Token 钱；⑤稳定度——同一问题多次问结果是否一致。这五个才是你老板在乎的”值不值”。我们做算力成本管控时，就把”单位成本 + 完成率”绑在一起算，避免选了个贵又不稳的。
五、小流量 A/B 真实任务，怎么做才不踩坑？
具体做法：拿你真实的一批工单/问答/文档，盲测两个候选模型——同一批输入，分别跑，人工抽评结果，看谁真把事办成。关键三点：①用真实历史数据，别用厂商给的演示集；②双盲，别让评测人知道是哪个模型；③留样本，方便回溯”它这次为什么错”。这和当年我们推的智能体记忆与评测思路一致：没有真实评测，记忆也是白记。
六、LLMOps 可观测性，怎么帮你把”真假”留痕？
模型上线后，靠人肉抽查不够，得靠系统留痕：每一次调用的输入、输出、Token 消耗、耗时、是否触发人工接管都要记下来，形成可观测面板。这样你能持续看到”这个模型在我业务上真实完成率多少”，而不是依赖发布时的跑分。我们之前写过智能体安全评估与等保合规，可观测性是等保”审计追溯”要求的技术落地，一举两得。
七、多模型路由 + 人工抽检，怎么配合防”虚高”？
单模型容易”偏科”，路由的思路是让对的模型干对的活：简单问答走小模型省钱，复杂推理走大模型保质量，再用人工抽检兜住长尾。我们讲过的Switchyard 模型路由器就能把成本压下来，但路由规则本身要基于你自己的评测数据定，不是厂商默认配置。简单说：路由是手段，真实评测是方向盘。
八、别被”超越 GPT / 登顶榜首”话术带偏
营销话术里”超越某某旗舰”通常限定了子集、口径、时间点。企业决策要看三件事：①在你的任务上测过没；②成本你扛不扛得住；③数据合规——模型在哪跑、你的数据去哪了。我们一直建议企业用私有化部署开源模型，既能用真实数据评测，又不用担心业务数据出网。被话术带偏的代价，是上线三个月发现”根本不好用”还退不掉。
九、成本与效果的平衡：不是越贵越好，也不是越便宜越香
真实选型是道多选题：贵模型稳但烧钱，便宜模型省但可能幻觉多。解法是用分层的组合——高频简单场景用低价模型，关键场景用强模型，配路由和人工抽检控住两头。再叠加峰谷定价把批量任务挪到低价时段，整体账单能压下一截。选型的目标从来不是”选最强的”，是”选性价比最贴合业务的”。
十、郑州企业三步，把”选型不踩坑”落下来
第一步，定指标：列你业务的真实完成率/接管率/成本红线，别背榜单。第二步，做盲测：用真实历史数据小流量 A/B 两个候选，人工抽评留样本。第三步，上可观测：接 LLMOps 留痕 + 多模型路由 + 人工抽检，持续看真实数据。需要帮搭私有化评测环境或算一笔”选型成本账”，我们提供正规渠道算力与落地支持。
总结
22 个模型 37% 作弊的研究，给所有准备上 AI 的企业泼了盆冷水：跑分不等于能力。真正稳的选型，是用你自己的业务数据盲测、用可观测系统留痕、用多模型路由控成本。别让”榜单第一”替你做决定。要一份企业大模型选型避坑清单或私有化评测方案，直接联系我们。
浩轩云智选 · 郑州市金水区浩轩云智选软件工作室（个体工商户）
统一社会信用代码：92410105MAK42FNA7Q
☎ 电话：13723241722 ｜ ✉ 邮箱：89016332@qq.com
业务：云服务器/GPU算力（正规渠道折扣，以咨询报价为准）、企业私有化部署、AI 智能体定制、MCP 集成、企业微信数字员工、等保合规对接。
官网：haoxuanyun.com ｜ 豫ICP备2026015473号-1
