IXThinker·2025-03-17 17:10

InfiniRetri無需訓練突破LLM長文本檢索

大語言模型受上下文窗口限制，處理超長輸入一直困難。新方法InfiniRetri無需額外訓練，就把有效上下文token長度從32K擴展到1000K以上，並在「大海撈針」測試中讓7B模型的表現比肩72B模型。

長文本難題

無論直接檢索還是多跳推理，輸入token一旦超過上下文窗口上限，任務就變得棘手。業界已提出多種增強長上下文處理能力的方法，而新研究關注的是：LLM自身能否在近乎無限長的token下檢索資訊。