Ai2 研究：能否信任大语言模型判断科研创意的新颖性？

Ai2 发布研究 Old Ideas, Novel Problems 及基准、数据、代码，发现大语言模型对科研创意新颖性的判断高度依赖评估设置。基于 ICLR 2026 评审构建的测试中，仅改变提示词，GPT-5.4 在 Human+Generated 创意配对上的准确率就从 93.5% 降至 40.9%；该集合将生成创意视为较低新颖性的标签属于弱标签，并非逐项核验结论。