IXThinker·2025-04-04 21:10

多token注意力機制出爐 模型檢索更準

傳統Transformer的注意力機制中，每個注意力權重只取決於單個查詢與鍵向量的相似度，找資訊如同在圖書館只能檢索一個關鍵詞。Meta FAIR團隊提出多token注意力機制MTA，帶來性能躍升。

舊機制瓶頸

注意力機制是大模型在大量文本中找出關鍵資訊的「慧眼」，但傳統設計一次只能關注一個「小線索」，令模型在簡單任務中也可能出現極高錯誤率，難以高效捕捉複雜資訊。