千問預告Qwen4架構 新模型訓練成本大降
Qwen4尚未正式登場,阿里通義千問先釋出「架構預告」:新模型Qwen3.8-Flash-Next已開放權重。這款多模態混合專家模型在注意力、殘差、嵌入與優化四個層面系統升級,訓練成本大幅降低。
四大層面系統升級
新模型透過GDN加QSA的混合注意力降低長上下文計算開銷,引入門控殘差增強跨層信息傳遞的穩定性,並以N-gram嵌入以更低計算成本擴展模型容量,優化層面則採用Muon優化器。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
