是石科技發布TokenFleet分布式調度框架

問題背景

GPU 集群中，請求排隊與資源閒置可能同時發生：部分實例應接不暇，另一些卻無活可幹。規模化服務之下，調度策略直接決定算力被實際利用的程度。

框架定位

TokenFleet 是一套分布式調度框架，將推理服務看作一座工廠：GPU 是生產設備，推理實例是工位，業務請求則是一張張訂單，框架的職責是把訂單與產能匹配起來。

優化手段

框架將優化重點放在三個方向：請求路由優化、跨數據中心容量協同與混合負載治理，嘗試在縮短等待時間的同時保證達標產出，提高集群整體的有效產出與資源利用率。

實測成效

該公司發布的數據顯示，TokenFleet 令首 Token 延遲降低 32.4%。作為國產調度方案，它呼應了算力供應緊張之下，從現有設備中擠出更多服務能力的行業方向。