IXThinker·2025-03-18 00:40

谷歌新Scaling Law 破解多數據中心訓練

谷歌三大團隊集眾人之力，發現全新Scaling Law。研究員Zachary Charles宣布，在越來越大的模型上，分散式訓練取得重大突破，核心算法DiLoCo被證明更好、更快、更強，可在多個數據中心訓練越來越大的LLM。

研究背景

隨著模型規模不斷擴大，如何橫跨多個數據中心協同訓練大模型成為關鍵課題。繼測試時計算之後，谷歌三大團隊合力在訓練方法層面再尋突破，成果正是全新的DiLoCo Scaling Law。