IXThinker·2026-10-01 11:30Inferact開源TPU內核 Kimi K3推理提速至3倍
由vLLM原班人馬創辦的Inferact近日開源了一套TPU Megakernels，把Kimi K3的92個MoE層全部寫進同一程序，在16顆Google TPU v7上實現遠超同級GPU的推理速度，展示了軟件深度協同優化的巨大潛力。
巨型算子的新思路
大模型推理提速，原來還有另一條路。Inferact這套TPU Megakernels的關鍵，是把Kimi K3的92個MoE層一層不漏地寫進同一個程序，實現極致的算子融合與硬件協同調度。做法可謂獨樹一幟。
這種深度定制打破了傳統推理框架逐層調用所帶來的效率損耗，把通信、計算與顯存訪問一併編排到極致，令TPU硬件的潛在吞吐能力得以真正充分釋放。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。