IXThinker·2025-05-05 09:30

睡眠時運算：LLM空閒時預先思考提效

Letta與UC伯克利研究者提出「睡眠時運算」（Sleep-time Compute）：讓LLM在空閒時段預先思考上下文，用戶提問時即可更快作答，旨在破解推理模型高延遲、高成本的痛點。

推理模型的代價

過去一年推理模型大行其道，回答問題前會先自行推理。然而這種測試時計算會帶來明顯弊端：延遲增加，推理成本亦大幅上升，令高質量回答的代價變得昂貴。