IXThinker·2025-02-26 08:50

螞蟻K-ON方法助大模型讀懂知識圖譜

知識圖譜的實體往往需要多個自然語言詞元才能準確描述，與語言模型按詞元訓練的方式存在粒度不匹配。螞蟻聯合實驗室提出多詞元並行預測方法K-ON，為大模型補上知識圖譜這一課。

粒度不匹配

大語言模型通常以預測下一個詞元（Token）為訓練目標，與多數自然語言處理任務契合。但知識圖譜以實體為基本數據單元，一個實體常需多個詞元描述，兩者粒度明顯不一致。