IXThinker·2025-03-21 12:10

GTC焦點技術PD分離 推理吞吐躍升四倍

黃仁勳在GTC 2025舞台上提及的預填充—解碼分離（PD分離）技術，正成為大模型推理服務的兵家必爭之地。這項由UCSD全華人團隊提出的技術，可在嚴格延遲約束下大幅提升有效產出率與SLO達成率。

何謂PD分離

大模型推理包含預填充與解碼兩個階段，PD分離將兩者拆開部署、各自優化，從而提升整體服務效率。黃仁勳在2025 GTC演講中亦提到這項技術，顯示其戰略地位。