IXThinker·2025-07-11 16:32

人大與史丹福等提出MoCa框架 單向VLM變雙向

預訓練視覺語言模型是不少多模態嵌入模型的基礎，但採用因果注意力機制的此類模型在嵌入任務上存在先天限制。人民大學、史丹福等機構研究者提出MoCa框架，把單向VLM轉化為雙向多模態嵌入模型。

三大限制

研究指出，基於因果注意力的多模態嵌入模型存在表示能力弱、泛化性差等關鍵限制：單向預測難以捕獲雙向跨模態的深層語義，訓練又多依賴簡單圖文對，數據不夠豐富多元。