IXThinker·2026-06-29 00:20

新架構單一編碼器統一多模態理解生成

原生多模態模型一直有個「天生短板」：理解與生成各用一個視覺編碼器，看似分工明確，實則埋下致命缺陷。有大學與企業合作推出新架構系列，以單一分詞器同時勝任圖像與影片的理解及生成，打通多模態統一建模的關節。

雙編碼器的缺陷

以往原生多模態模型如Janus、BAGEL，一般用兩個視覺編碼器分別處理理解與生成：理解端常用SigLIP 2學習語義特徵，生成端用VAE學習重建特徵，兩者給出的特徵並不在同一空間。