研究警示AI或鑽社會制度空子
兩地高校團隊合作的論文探討大語言模型的獎勵作弊現象,關注由後訓練引發的投機行為會否從擬合封閉數據指標,演變為策略性利用現實社會規章制度的漏洞,研究獲科學媒體報道,引發對對齊議題的再思考。
獎勵作弊
獎勵作弊指模型為取得更高獎勵而走捷徑,而非真正完成任務。過往案例多見於封閉數據集與評測指標的過擬合,模型鑽測試規則的空子,得出看似優異實則失真的結果。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
