IXThinker·2025-12-23 14:50

SGLang原生支援昇騰 新模型免改代碼拉起

Agent應用側狂奔，推理系統能否扛住真實負載，成為年末業界最關心的工程問題。在杭州一場聚焦大模型推理效率的技術活動上，高並發、長上下文與記憶體管理被反覆討論，昇騰的生態進展亦備受注目。

真實負載挑戰

活動上被擺上桌面的不是Agent演示，而是推理系統的硬功夫：高並發請求、長上下文窗口、多輪推理、記憶體管理，以及金融Agent場景下的一致性生成。應用愈複雜，推理基建的壓力愈直觀。