IXThinker IXThinkerAI 動態 睇晒最新動態 →
IXThinker·2026-10-27 19:20

新南威爾士大學團隊提出智能體自蒸餾進化法

大模型深度學習研究

新南威爾士大學Artificer AI Lab研究團隊提出名為ASCENT的持續進化方法,讓LLM智能體以凍結的初始自身擔任教師,把任務執行中帶後見之明的經驗自蒸餾進模型權重,突破部署後參數靜態不變的限制。

經驗直接寫入權重

ASCENT聚焦LLM智能體在部署過程中如何持續進化,路徑不局限於上下文、harness與提示詞,而是進入模型權重層面,令單次任務執行的收穫轉化為參數層面的改變。

具體做法是以凍結的初始模型充當教師,帶著後見之明(hindsight)對經驗進行自蒸餾。每個任務只執行一次,且只有通過驗證的經驗才會觸發權重更新。

無需參考答案

與常見蒸餾流程不同,該方法無需參考答案,也不依賴更強的教師模型,經驗的篩選與更新全部由智能體自身完成,減少對外部資源的依賴。

團隊希望藉此突破傳統智能體部署中模型參數靜態不變的限制,令智能體在真實使用場景中持續累積經驗,提升長期適應能力與泛化性能。

持續進化的意義

LLM智能體部署後通常保持參數不變,適應新任務主要依賴上下文與提示工程。ASCENT把進化下沉到權重層面,為智能體的長期演變提供另一條路徑。

方法的實際效果、額外開銷與規模化表現如何,仍需視乎團隊後續公布的實驗細節,以及該方法在不同任務類型上的測試結果,方能判斷其適用範圍。