IXThinker·2025-06-28 21:50

VHR視覺神經增強方法出爐 緩解多模態大模型幻覺

大型視覺語言模型結合視覺與語言資訊生成流暢回答，卻常因過度依賴語言先驗而非圖像真實內容，產生事實性錯誤。研究團隊提出方案VHR，以「視覺神經增強」機制直接放大模型中視覺關鍵注意力頭的輸出，成果入選ACL 2025。

幻覺源於語言先驗

大型視覺語言模型（LVLMs）能結合視覺與語言資訊生成流暢文本，但輸出常因過度依賴語言先驗知識而非圖像真實內容，導致事實性錯誤。團隊透過對照實驗揭示語言先驗與幻覺現象之間的關聯，指出問題根源藏在模型的內部生成機制之中。