Ai2 发布研究创意新颖性评估研究及基准

Ai2 发布 Old Ideas, Novel Problems 研究、评测基准、数据和代码，用于测试 LLM 判断科研创意新颖性的可靠性。六个 LLM 评审在 Human+Generated 数据集上对提示词变化高度敏感，其中 GPT-5.4 的准确率从 93.5% 降至 40.9%；增加检索和推理未稳定提升结果，两个专用系统反而低于简单提示词基线。