IXThinker·2026-05-06 00:45

Gemma 4加入多令牌預測 推理速度最高3倍

大語言模型推理長期受制於記憶體頻寬瓶頸，每次生成單一令牌都須頻繁讀取數十億參數。Google為Gemma 4系列推出多令牌預測草案器，以推測解碼方式並行生成候選令牌再驗證，實測速度最高提升3倍。

帶寬瓶頸破題

傳統推理每生成一個令牌，都須將大量參數由顯示記憶體載入運算單元，延遲高企。多令牌預測草案器透過專用推測解碼架構，並行預測多個候選令牌並驗證其有效性，大幅減少冗餘計算與記憶體存取。