IQuestRT 推理引擎開源：解碼速度近三倍提升

單請求優化背景

編程 Agent 任務中，模型需要反覆讀取代碼、生成修改、調用工具並依據執行結果決定下一步，各步驟存在順序依賴，每輪 Token 生成的等待時間不斷累積。如何令單條請求的生成過程持續高效運行，已成為推理系統優化的重要方向。

IQuestRT 服務的 IQuest-Q1 為該研究院此前開源的基礎模型，採用稀疏混合專家架構，主要面向代碼生成、軟件工程及多步工具調用等任務。其推理採用遞歸多 Token 預測機制，由草稿網絡連續提出候選，再由主模型統一驗證。

GPU 自主解碼

IQuestRT 將候選驗證、採樣、緩存更新及下一輪計算啟動等控制邏輯移至 GPU 內部完成，CPU 只需發起首輪任務，消除主機控制間隔後每輪計算節省約 22 至 25 微秒。投機解碼上，引擎固定執行前三個預測深度，其後由 GPU 按候選概率與熵估算是否繼續，最多產生七個候選。

專家權重預載

針對 MoE 模型的專家路由與參數讀取，IQuestRT 採用提前預取策略：在正式路由結果產生前，先預測可能被調用的專家並將權重載入 GPU 的 L2 緩存。預取只在部分路徑帶來收益，引擎僅於滑動窗口注意力層有效驗證位置為四至五個時啟用；實際計算仍由正式路由結果決定。

跨 GPU 通信亦被優化：引擎以 NaN 標記填入輸出緩衝區，各卡完成計算後以實際數據覆蓋，歸約結果不再含 NaN 即代表數據就緒，從而減少同步操作。專家路由計算亦融入注意力相關流程，初版方案在軌跡重放測試中每輪節省 88.5 微秒。

實測數據拆解

性能測試採用 400 條 Claude Code 運行軌跡，在兩個隨機種子下完成 800 次解碼。八卡 GPU 單請求條件下，每輪投機解碼平均輸出 3.24 個 Token、每輪約 3.558 毫秒；vLLM 參考配置為 309.83 tokens/s，雙方投機策略並不相同。

該指標衡量解碼階段性能，未計入預填充、模型載入及計算圖捕獲開銷。長上下文單步測試顯示，上下文長度由 1K 增至 192K 時，中位單步延遲由 3.23 毫秒升至 3.76 毫秒。優化過程累計記錄 32 個檢查點，單步延遲由 6.449 毫秒降至 3.526 毫秒，下降約四成五。

Agent 參與研發

研究院建立工程師與 AIAgent 共同參與的優化流程：工程師定義工作負載、數值約束與驗收標準，Agent 負責閱讀代碼、提出假設、實現方案、運行實驗及代碼審查，每項實驗均留有代碼版本與原始結果。多個 Agent 在多台 GPU 伺服器並行優化，成果兩周內超越人工精調流水線。

實際運行軌跡亦幫助團隊發現合成測試掩蓋的問題：實際請求每層平均訪問 37.7 個不同專家，遠多於合成輸入的 11.0 個，導致解碼較慢。團隊亦曾試驗將專家權重壓縮至 FP4，因解包與調度成本抵消收益而放棄。引擎目前僅適用於 IQuest-Q1、八路張量並行及單活動請求環境。