IXThinker·2025-01-16 20:00

Transformer²讓模型動態調權重

Sakana AI發布新方法Transformer²，透過奇異值微調與權重自適應策略，令大語言模型無須重新訓練即可調整自身權重應對新任務，泛化與自適應能力顯著提升。

師法自然

從章魚改變皮膚顏色融入環境，到人腦受損後重新連接神經網絡，生物界的適應機制無處不在。然而對大語言模型而言，哪怕只加入一句話的新知識，往往都要重新訓練一次。