IXThinker·2025-12-21 09:10

Gemini預訓練負責人：長上下文將現雙重突破

Google DeepMind的Gemini預訓練負責人Sebastian Borgeaud受訪時透露：未來一年大模型預訓練將在長上下文處理效率與上下文長度擴展兩大方向迎來重大技術創新。

兩大突破方向

Borgeaud指出，長上下文處理效率與上下文長度擴展是預訓練的關鍵戰場，注意力機制方面已出現重要發現，相關進展有望顯著增強大模型處理資訊的能力與推理效率。