IXThinker·2025-05-02 11:20

英偉達聯手UIUC 上下文拓至400萬token

英偉達與UIUC的華人團隊提出高效訓練方法，將大語言模型的上下文長度由128K一舉擴展至400萬token，創下SOTA紀錄。基於Llama3.1-Instruct打造的UltraLong-8B，在長短上下文任務上均保持頂尖表現。

長上下文難題

大語言模型在文本與多模態任務上表現驚豔，但長文檔與影片理解、上下文學習及推理時擴展等實際場景，都要求模型能夠處理極長輸入，長上下文能力成為關鍵瓶頸。