IXThinker·2026-09-16 19:20

開源端側推理引擎 消費級顯卡跑滿血MoE

開源權重模型的部署服務仍主要依賴數據中心級硬件，令學術團隊與開源社區卻步。由多間知名學府聯合開源的端側推理引擎FreeToken，讓消費級顯卡也能運行頂尖混合專家模型，實現個人電腦的「詞元自由」。

部署門檻成痛點

開源權重模型日益普及，但其部署服務目前仍主要依賴數據中心級硬件，一般用戶「權重雖開源、電腦跑不動」，硬件壁壘限制了開源生態的參與廣度。