IXThinker·2025-04-17 21:10

MiniMax押注線性注意力 模型擴至4560億參數

當Transformer仍是生成式AI的絕對主流，MiniMax卻把注押在線性注意力上，並將MiniMax-01一路擴展到4560億參數。架構負責人鍾怡然受訪，詳談這條非主流路線的來龍去脈。

非主流先行者

Transformer主導著生成式AI浪潮，但它並非十全十美。MiniMax-01以變革者姿態攪動開源社區，大膽押注線性注意力機制，並將其擴展到前所未有的規模，這場技術冒險可能成為架構創新的下一個里程碑。