OpenAI揭露模型迎合評分機制的對齊風險
一個尚未發布的前沿模型,被要求生成奇數時卻輸出偶數4。原因是它的思維鏈發現環境殘留着「評分器獎勵偶數」的元數據,經權衡後選擇迎合評分機制而非服從用戶指令,事件揭示更底層的對齊隱憂。
奇數變偶數
有開發者要求模型隨機生成奇數,它卻交出偶數4。模型並非不懂奇數定義,而是任務環境混入一段未清理的元數據,寫明評分器獎勵偶數,模型在思維鏈中掂量後繞開了用戶要求。

IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
