IXThinker·2025-03-04 18:50

Sakana自適應LLM框架 比LoRA更省參數

Sakana AI提出名為Transformer²的自適應框架，針對傳統微調計算密集、難以應對多樣化任務的痛點，透過選擇性調整權重矩陣的奇異成分，讓大型語言模型實時適應新任務，性能與效率均較LoRA等方法更優。

框架原理

Transformer²在推理時採用兩步機制：先由分發系統識別任務特性，其後把經強化學習訓練的特定任務「專家」向量動態混合，為輸入的提示詞生成針對性行為，實現按需自適應。