IXThinker·2025-07-09 10:00

Meta新架構突破Transformer數據瓶頸

Meta從OpenAI挖走大批員工後，又用OpenAI的開源技術搞出新突破：新架構2-Simplicial Transformer改良標準注意力，令Transformer更高效利用訓練數據。

架構改良

核心方法是基於OpenAI提出的Triton，將標準點積注意力推廣到三線性函數，目標是突破當前大模型發展的數據瓶頸，提高訓練數據的利用效率。