IXThinker·2026-10-16 22:30

普羅2B以RTX5090完成低成本預訓練

十億參數模型的預訓練配方長期是開源社群空白。新項目普羅2B以RTX 5090完成2B模型預訓練，總成本不到5090美元，向小型團隊提供「訓得起」的完整路線，降低十億級參數預訓練門檻。

預訓練門檻高

十億參數、萬億token規模的模型應用廣泛，Qwen2-1.5B、Qwen3-1.7B等均屬此級別。不過即便規模不大，預訓練所需的算力與成本，對普通實驗室仍是難以逾越的障礙。