IXThinker·2025-02-01 22:30

斯坦福揭o1-preview弱點 題目微調即跌30%

斯坦福大學研究發現，o1-preview這類在數學與編程上表現強勁的模型，只要題目稍作改動便會「失準」：普特南數學競賽題經微調後，解答準確率即時下降30%。

研究設計

團隊以歷史悠久的普特南數學競賽題目作測試基準，該競賽自1938年首辦，由美國數學會主辦，是全球大學生數學精英的頂級賽場，題目權威且具挑戰性。