揭秘多模態模型如何化解衝突資訊
當圖像顯示藍色汽車、文字卻描述紅色時,多模態大模型該聽誰的?新研究首次從案例層面揭秘其內部決策機制,發現模型會在互相衝突的資訊之間不斷「振盪」。
模態跟隨
多模態大語言模型擅長融合圖像與文字等多源資訊,但當不同模態互相矛盾時,模型必須解決衝突。其最終輸出與某一模態保持一致的行為,被稱為「模態跟隨」,直接反映模型的決策機制與推理一致性。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
