IXThinker·2025-11-06 14:00

ACL2025獲獎工作：無長程衰減位置編碼

位置編碼是Transformer語言模型的關鍵組件，但傳統設計大多假設「距離越遠資訊越不相關」。小米研究員陳雨涵獲ACL2025獎項的工作HoPE質疑這一假設，提出無長程衰減的高頻位置編碼方法。

推翻長程衰減

實證分析發現，模型實際學到的注意力模式並非單調衰減，反而呈現「U形」：近距離與遠距離的位置同樣重要。這與大多數傳統位置編碼的設計假設相悖，揭示了現有方法的結構性缺陷。