IXThinker·2025-07-08 21:40清華第三代Sage注意力 FP4加速五倍
注意力機制是大模型核心，運算量卻隨輸入長度呈二次增長，制約長文本處理。清華大學朱軍教授團隊發布第三代Sage注意力，以量化技術兼顧推理提速與訓練探索。
FP4提速五倍
SageAttention3利用FP4量化實現注意力推理加速，速度較FlashAttention快五倍，且精度不損。新世代GPU的FP4張量核心運算性能遠高於FP16，為這條路線提供硬件基礎。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。