IXThinker·2025-07-09 10:10

給LLM推理裝進度條 token用量減近六倍

LLM推理要詳細還是迅速，現在可以自己選。特拉維夫大學團隊開發出新方法，可監控並控制大語言模型的思考路徑長度，為推理過程裝上可視化的進度條。

進度條原理

模型進行結構化推理時，會透過隱藏狀態隱式追蹤自己在思考階段的相對位置。論文提出「思維進度向量」（TPV），實時預測推理進度並以進度條形式呈現。