IXThinker·2025-01-16 16:50

姚期智團隊新注意力機制省九成記憶體

姚期智院士團隊提出新型注意力機制TPA，以動態張量分解處理每個token的快取，記憶體佔用節省九成以上而不犧牲性能，並以一個框架統一了現代注意力機制的設計。

動態張量分解

TPA對每個token做動態的張量分解，不存儲完整的靜態KV快取，而是保留分解後的版本，令記憶體佔用節省90%或更多，同時不會犧牲模型性能，效率提升明顯。