IXThinker·2025-05-27 12:00

英偉達再破紀錄：單用戶每秒生成千token

英偉達再破自家紀錄：僅用單節點DGX B200伺服器（8顆Blackwell GPU），在Llama 4 Maverick模型上實現單用戶每秒生成1000個token，創下AI推理速度新世界紀錄，團隊並在官方博客披露多項技術細節。

紀錄詳情

今次成績以TPS/user計算，即單用戶每秒生成的token數，在Llama 4 Maverick模型上達到1000。值得留意的是，實驗僅採用單節點8卡配置，並非多機大集群，突顯單節點推理優化的潛力。