混合線性架構萬億模型Ring-2.5-1T開源發布
智譜發布並開源首個混合線性架構的萬億參數思考模型Ring-2.5-1T,被視為邁向通用智能體時代的關鍵一步。模型在預訓練與強化學習兩端同步擴展混合線性注意力架構,思考效率與長程執行能力均較前代大幅提升。
高效混合架構
Ring-2.5-1T採用1:7比例的MLA加Lightning Linear Attention混合線性注意力架構,在超過32K的生成長度下顯著降低訪存開銷,提升生成效率,同時為模型保留更大的探索空間,改善思考效率。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
