IXThinker·2025-05-30 19:50

史丹福單GPU內核跑Llama　推理僅680微秒

史丹福Hazy實驗室推出低延遲推理引擎Megakernel，把Llama-1B的前向傳播完整融合進單一GPU內核，實現低於1毫秒的推理時間，目標直指AI互動中的高延遲痛點。

毫秒級回應

團隊指出，AI聊天若每句要等幾秒，體驗大打折扣；Megakernel正是針對低延遲LLM推理而生，在B200上單次推理僅需680微秒，回應近乎即時。