Ai2 发布研究创意新颖性评估研究及基准
Ai2 发布 Old Ideas, Novel Problems 研究、评测基准、数据和代码,用于测试 LLM 判断科研创意新颖性的可靠性。六个 LLM 评审在 Human+Generated 数据集上对提示词变化高度敏感,其中 GPT-5.4 的准确率从 93.5% 降至 40.9%;增加检索和推理未稳定提升结果,两个专用系统反而低于简单提示词基线。
推荐理由:研究系统量化了提示词、检索和推理配置对研究创意新颖性判断的影响,并公开基准、数据与代码供复现。