Latent Space· Richard MacManus·· 5 小时前AI 评分54
Elorian 发布 DecoyCount 评测视觉推理模型 Glimpse
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 Mercor 发布 DecoyCount 基准，用 1,660 个测试项考察模型是否会利用视觉捷径错误计数。论文评测中前沿模型准确率均低于 50%，GPT-6 Astra 以 43.17% 居首；Elorian 称未使用评测图像和文本训练的 Glimpse 在内部单次测试中获得 50.48%，但该结果并非由论文报告。
来源：Latent Space · latent.space