IXThinker·2025-10-28 12:30

REFRAG出招 RAG推理生成提速30倍

一場線上報告聚焦大模型RAG推理的效率瓶頸：來自新加坡國立大學與Meta超級智能實驗室的研究者將講解REFRAG方法，據介紹可令生成提速30倍，紓解知識豐富性與系統效率之間的根本矛盾。

RAG的效率矛盾

大語言模型借助外部知識可提升回應質量，但長上下文輸入導致高延遲與龐大的鍵值快取需求。RAG場景中檢索所得的多個段落，往往只有少數內容與當前查詢直接相關，資源消耗被進一步放大。