IXThinker·2026-04-21 09:40

KV快取跨數據中心傳輸 推理架構新範式

大模型公司月之暗面聯同清華大學團隊發表新推理範式PrFaaS，核心突破是令KV快取可以跨數據中心傳輸，把預填充與解碼徹底解耦至不同異構集群，為長上下文推理提供跨地域調度的新路徑。

跨機房調度之困

大模型推理架構長期受制於機房限制，預填充與解碼通常要在同一集群內完成，資源調度缺乏彈性。當上下文越長，預填充開銷越大，單一數據中心難以同時兼顧算力與延遲。