IXThinker·2026-09-16 19:00

超低成本開源預訓練方案 消費級顯卡可行

語言模型預訓練幾乎已成為高昂成本的代名詞，復現一款3B開源模型亦需數十萬美元以上。一套全流程開源的預訓練方案Puro-2B，在消費級顯卡上以極低預算完成2B模型訓練，兼顧成本效率與硬件可及。

預訓練成本高企

市場上雖有眾多開放權重模型與開源訓練方案，但同時滿足成本效率、硬件可及性與全流程開源的預訓練方案仍然稀缺。以較小規模模型為例，復現成本亦動輒數十萬美元起。