OASIS讓注意力可棄權改善長上下文

注意力跨層路由

增強模型表達能力可讓Transformer更靈活地讀取和整合資訊，Attention Residuals將注意力從token之間的交互擴展到網絡深度。

在這一設計之下，每個子層都學習選擇哪些歷史層的輸出作為補充，令資訊可以跨層路由，模型結構也因此獲得遠較以往更大的靈活性。

選擇帶來代價

新增的選擇能力也帶來問題：在研究團隊評估的AttnResidual設置中，模型對初始token的注意力集中更加明顯，激活異常值顯著增大。

這些變化在低比特量化與長上下文評測中進一步表現為明顯的性能退化，成為制約此類架構在實際生產環境中部署與使用過程的現實障礙。

棄權機制設計

研究團隊提出OASIS，為這種雙層資訊路由提供顯式的棄權選項，讓子層在無法確定應選擇哪一歷史層輸出時可以選擇不作任何干預。

棄權選項令路由行為更加穩定，避免子層在資訊不足時強行選擇所造成的干擾，從而緩解對初始token注意力集中與激活異常值增大的問題。

魯棒性改善

引入棄權機制後，模型在長上下文任務與低比特量化場景中的魯棒性得到明顯改善，為注意力殘差類架構走向實際應用指明了改進方向。