IXThinker·2025-01-23 15:00

FAST動作Tokenizer令機械人訓練效率升5倍

來自π、伯克利及斯坦福的研究團隊提出為VLA模型設計的高效動作Tokenizer「FAST」，結合離散餘弦變換與字節對編碼，大幅縮短訓練時間，效率提升顯著，被視為機械人自回歸訓練的重要突破。

痛點與思路

傳統動作Tokenization方法在處理精細任務時效率不足，制約VLA模型在高頻機械人控制任務的表現。FAST結合離散餘弦變換（DCT）與字節對編碼（BPE），壓縮動作序列、提高token利用效率，思路類似語言模型的分詞優化。