IXThinker·2026-02-11 15:20

百度ERNIE 5.0技術報告：萬億參數單腦多模態

模型發布近三個月後，百度終於公布ERNIE 5.0技術報告。報告顯示其採用超級稀疏的Ultra-Sparse MoE架構，參數量高達萬億級，推理時激活不足3%，是公開模型中首個達到此規模的統一自回歸模型。

架構亮點

有別於常見的多模態「拼接」路線，ERNIE 5.0讓文本、圖像、音頻、影片四種模態從零開始就在同一Transformer骨幹網絡下聯合建模，實現端到端的多模態自回歸統一。