IXThinker·2025-01-03 17:50

MetaMorph報告探索LLM隱藏視覺能力

一場以「MetaMorph：探索LLM隱藏的視覺能力」為題的報告將於1月9日上午舉行，介紹視覺預測指令微調方法VPiT，展示如何把預訓練大語言模型快速轉化為能同時生成文本與圖像的統一自回歸模型。

VPiT方法核心

視覺預測指令微調（VPiT）是指令微調的簡單高效擴展：將圖像與文本數據組織成指令形式的輸入序列，教導LLM同時預測離散的文本標記與連續的視覺標記，從而令單一模型具備文圖聯合生成能力。