IXThinker·2025-02-19 11:50

LLaDA擴散語言模型亮相 8B破解逆詛咒

人大高瓴人工智能研究院與螞蟻共同提出LLaDA，以擴散模型替代自回歸架構構建8B大語言模型，上下文學習能力與LLaMA3-8B相當，更在反轉詩歌任務中超越GPT-4o。

架構革新

自回歸模型依賴前文預測當前元素，處理「反轉詩歌」等雙向依賴任務時表現不佳，即所謂逆詛咒。LLaDA改用擴散式生成與遮罩策略，從原理上另闢蹊徑。