IXThinker·2025-12-06 18:10

華為新架構改造Transformer注意力

華為研究團隊針對Transformer的核心機制Attention動手改造，指出傳統兩兩配對的注意力計算難以建模多跳、多點之間的邏輯關係，是其複雜推理表現不佳的根源，新架構有望補足這一短板。

配對注意力局限

傳統Attention本質上是配對比較：每個詞只與另一個詞直接產生關聯並生成權重。這種模式擅長捕捉長距離依賴，卻難以把握「張三透過李四認識王五」這類多跳關係的整體結構。