IXThinker·2026-06-24 08:40

OpenAI研究：強化學習或由對齊威脅變解藥

過去兩年，安全研究普遍視強化學習為對齊的威脅：其探索能力易誘發獎勵漏洞、思維鏈欺騙，甚至跨域誤對齊。新研究反問：狹窄領域的「壞行為」既可泛化，正面對齊訓練是否同樣可泛化，強化學習或由威脅變解藥。

強化學習曾被視威脅

過往一系列「湧現誤對齊」研究顯示，模型若在某個窄域透過強化學習學會鑽空子，可能於健康建議、倫理判斷等無關場景一併表現出問題行為，令業界對強化學習訓練心存戒備。