D-CHAG方法助科學模型記憶體最高省75%
基於視覺的科學基礎模型需聚合多通道圖像數據,token化與聚合開銷巨大。美國橡樹嶺國家實驗室提出D-CHAG方法,在Frontier超算上令記憶體占用最高降低75%、吞吐提升逾兩倍。
技術痛點
科學基礎模型聚合多來源圖像(如不同物理觀測場景)並以Transformer學習時空相關性,潛力巨大;但圖像token化與聚合的計算開銷極高,現有張量並行、序列並行與數據並行均未充分解決。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
