IXThinker·2026-03-14 12:30

十萬卡訓練時代網絡成瓶頸 InfiniBand翻紅

大模型訓練邁入萬卡乃至十萬卡時代，瓶頸正在易位：算力不再是唯一短板，網絡通信成為新的掣肘。據統計，大規模AI集群訓練中通信時間佔比可達三成以上，且規模越大佔比越高，InfiniBand因此重新翻紅。

通信吞噬紅利

當GPT-4參數規模突破萬億、Llama 3訓練集群達到數萬卡，一個隱患浮出水面：梯度同步與參數更新等環節的通信開銷，正在大量吞噬算力紅利。「算力競賽已進入網絡決勝期」成為產業界近期共識。