IXThinker·2025-07-29 23:00

一次指令微調即成多領域專家 8B模型反超全微調

讓普通大模型僅經一次指令微調即擁有多領域專業能力，是SIMoE方案的核心賣點。該方法透過自動定位擴展位置與動態平衡專家協作，令8B模型性能反超全微調基線，相關成果獲選為ACL 2025口頭報告。

技術背景

預訓練大模型要適應專業領域，需付出高昂的指令微調成本；稀疏混合專家架構雖能平衡性能與效率，但從頭訓練耗費巨大資源。因此復用密集大模型參數的升級改造，成為更具成本效益的替代路線。