IXThinker·2025-07-22 21:50

英偉達推Helix並行技術 破百萬Token推理瓶頸

英偉達推出受DNA雙螺旋結構啟發的Helix並行技術，透過分割顯存與並行處理任務，顯著提升大模型上下文長度與並發能力，宣稱吞吐量躍升32倍，並降低回應延遲。

解決什麼痛點

大模型處理長任務時需反覆讀取KV緩存中存儲的過往標記，消耗GPU顯存帶寬，還要重新載入大量前饋網絡參數，成為百萬字符級推理的瓶頸。