IXThinker·2026-09-17 11:20

把記憶卸載至CPU 大模型推理提速變省

編程智能體讀代碼、查資料、跑測試時，歷史交互資訊不斷累積。成千上萬個智能體同時運作，伺服器可承接的並發便吃緊，部分請求連首個詞元都要久候。有觀點認為，解方未必是再加GPU，而是重新審視記憶體管理。

並發壓力浮現

編程智能體處理跨檔案任務時，需要反覆讀取代碼、查閱資料並執行測試。初期交互尚算流暢，但任務深入後，系統要處理的歷史資訊愈積愈多，運算負擔隨之倍增。