IXThinker·2025-03-14 17:20

TOKENSWIFT框架實現長文本生成三倍加速

大語言模型生成超長文本一直受制於自回歸架構的緩慢解碼。北京通用人工智能研究院團隊提出TOKENSWIFT框架，宣稱可將十萬Token生成時間由近五小時壓縮至九十分鐘，兼顧品質與速度。

效率瓶頸所在

傳統自回歸模型逐個Token生成文本，序列越長、耗時越誇張，輸出十萬Token往往需時近五小時，成為長文本應用落地的重大障礙。研究團隊正是針對這一痛點展開系統性優化。