IXThinker·2025-02-18 12:50

讓擴散模型當老師 多模態漲分30%

中國研究員聯合DeepMind團隊的研究《Lavender: Diffusion Instruction Tuning》別出心裁：讓Stable Diffusion當老師，教多模態大模型看圖說話，僅用極少數據便令性能大幅躍升。

跨界思路

這次不卷參數、不卷算力，而是卷「跨界學習」：模仿Stable Diffusion的交叉注意力機制，透過簡單的注意力對齊，把擴散模型的視覺表達經驗遷移給Llama-3.2等多模態大模型。