美團LongCat推LoZA 長文本擴至百萬上下文
美團龍貓LongCat系列發布全新稀疏注意力機制LoZA(LongCat ZigZag Attention),重點解決長文本任務的理解與算力難題,令模型長文本能力從256K擴展至1M,解碼速度同步提升。
算力瓶頸
全注意力機制的算力瓶頸在於平方級計算複雜度,令模型處理長文本時對顯卡的資源需求急增。LoZA集中火力優化這一環節,只改動一半核心模組。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
