Stanford研究称44%的大语言模型研究结论已失效

Stanford研究人员Owen Queen和James Zou用20个模型检验50项广泛引用的大语言模型结论，其中44%已失效，另34%显著减弱，仅16%仍成立、6%增强。22项有预计失效时间的结论平均仅维持15.7个月，其中推理能力限制失效最快，偏好、迎合等行为结论更持久。研究建议将实验结果表述为特定模型在特定时间点的观察，并公开模型版本、日期、提示词和分析代码以便复测。