一塊2080Ti搞定數據蒸餾 佔用僅2GB
大模型數據蒸餾以往動輒需要高端顯示卡。上海交通大學EPIC實驗室等機構的新研究證明,一塊六年前的2080Ti就足夠,相關論文獲CVPR滿分。
方法核心
NFCM引入輔助神經網絡,把數據集蒸餾重新表述為極小化極大(minmax)優化問題,令蒸餾過程對硬件資源的要求大幅下降,同時保持蒸餾效果。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
