清華智譜推Glyph框架 以圖像壓縮文本擴展上下文

長上下文的價值代價

長上下文建模是大模型行業的前沿趨勢，理論上可實現更全面的語義理解，並顯著增強多步推理與長期記憶，令模型像人類一樣通讀全篇、整體思考。

然而當上下文窗口擴展至百萬token級別時，計算與內存成本會急劇上升，實際應用因此受到明顯限制，成為制約長上下文落地的核心矛盾。