IXThinker·2026-01-14 23:40

Transformer作者團隊新法DroPE登場

Transformer架構核心作者之一Llion Jones領導的團隊開源DroPE技術，針對大模型長文本處理難題，實現無需昂貴長上下文訓練的零樣本上下文擴展，被網友戲稱為「NoRoPE」。

拋棄位置編碼

DroPE可視為一種丟棄位置嵌入來擴展上下文的方法：把位置嵌入當成臨時訓練工具，藉此優化依賴旋轉位置編碼（RoPE）的自注意力機制對長文本的處理。