IXThinker·2025-05-06 15:30蘋果研究提出原生多模態Scaling Law
蘋果研究探討原生多模態模型（NMM）的縮放規律，發現早融合架構在低算力預算下表現更佳，配合混合專家（MoE）技術可顯著提升多模態性能，為構建統一模型提供新依據。
現行做法局限
目前構建多模態模型的常用方法，是組合各自預訓練好的單模態模型，例如把視覺編碼器接到LLM輸入層再作多模態訓練。但單模態預訓練可能引入偏差，妨礙模型學習模態間的相互依賴，各組件亦有不同超參數與縮放屬性，令系統擴展困難。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。