IXThinker IXThinkerAI 動態 睇晒最新動態 →
IXThinker·2026-11-04 21:40

MIT:GPT-6無訓練改寫模型權重

大模型深度學習可解釋AI

MIT電腦科學與AI實驗室提出權重空間編程新範式,讓GPT-6 Astra不經訓練、不算梯度,直接讀懂並改寫另一小模型0.016%的權重,令其數學能力提升約6倍,指令執行力亦提高3倍。研究被視為首次對神經網絡權重作出直接、可解釋的干預。

四十年來的難題

神經網絡的權重文件裏全是密密麻麻的數字,過去四十年間,人類始終難以看懂這堆數字在計算什麼。要改變模型行為,通常只能輸入數據、計算梯度,靠訓練一步步微調。權重對研究者而言近乎黑箱,直接編輯始終被視為不可行。

實驗結果

MIT團隊將0.8B的開源小模型Qwen3.5交給GPT-6 Astra處理,全程無訓練、無梯度下降,僅改動其中0.016%的權重。同樣採樣設置下,MATH-500得分由7.9%升至48.1%,數學運算能力約為原來的6倍,連原本未要求優化的指令執行能力也提升了3倍。

從零寫出權重

修完模型之外,團隊還讓Astra從零編寫一款小遊戲網絡的權重。它一次回覆即交出成品,得分超過訓練了5億步的PPO基線約20倍,顯示模型不僅能修改現有權重,也能直接生成完整網絡。這類能力把權重文件變成可以直接閱讀和書寫的對象。

意義與方向

團隊將這套打法命名為權重空間編程。它跳過了反向傳播與大規模訓練,直接對神經網絡權重進行可解釋的精準干預,突破了長期以來人類無法理解與手動編輯權重的瓶頸。對模型輕量化、可解釋AI與邊緣智能而言,這條路徑開闢了新的可能。