輕量在線記憶機制提升大模型長期任務表現
復旦大學團隊提出輕量記憶機制 δ-memory,在凍結全注意力主幹網絡的基礎上,引入固定尺寸、在線更新的聯想記憶狀態,毋須擴大上下文即可大幅提升大模型長期任務的記憶能力。
上下文困境
大型語言模型在長期助手與智能體系統中,日益需要持續積累並復用歷史信息。單純擴大上下文窗口不僅成本高昂,亦往往無法確保窗口內資訊被有效利用。

IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
