HarnessRL周四開講探討AI遞歸自進化

報告時間與主題

報告主題為「Mila & 千問：HarnessRL探索遞歸自進化」，時間為10月29日（本周四）10:30至11:30，以直播形式進行，面向對強化學習後訓練感興趣的研究者。

研究的出發點在於AI能否自行改進「讓自己變強的方法」，這亦是遞歸自進化（RSI）方向關注的核心問題，報告將圍繞此問題展開。

訓練期harness

HarnessRL為強化學習後訓練引入可自適應的訓練期harness，讓數據採樣、探索方式與獎勵標準隨模型能力一併調整，在提升效果的同時降低訓練總成本。

在該設計下，模型與訓練方法同步演進，數據採樣與獎勵的配置不再固定不變，從而突破傳統訓練範式中訓練方法保持靜態、難以適應模型變化的局限。

兩項關鍵組件

第一項是訓練期記憶，用於記錄模型的輸出、獎勵評分，以及歷次訓練配置的修改情況，為後續調整訓練方法提供歷史依據，屬該工作的重要組件之一。

第二項是即時（Just-in-time）驗證，與訓練期記憶配合，為訓練過程中的決策提供即時依據，具體設計細節將於報告中詳細說明。