港科大直播：Attention-FFN 分離架構的推理資源配置

推理服務核心挑戰

隨著大語言模型規模持續擴大，高效推理服務已成為系統研究的核心挑戰。業界現已廣泛採用 Prefill-Decode 分離（PD Disaggregation）架構，把輸入處理與逐詞生成分置於不同硬件。

在此基礎上，粒度更細的 Attention-FFN 分離（AFD）架構近年受到廣泛關注，被視為進一步提升資源效率與系統彈性的重要方向。