OpenAI開源0.4B稀疏模型 99.9%權重為零

極致稀疏模型開源

OpenAI近日低調發布並開源了一款新模型，參數規模僅為0.4B，而且多達99.9%的權重皆為零，屬於Circuit Sparsity技術的開源實現。

這款模型透過人為約束模型內部連接的稀疏程度，令大語言模型的計算過程變得可以拆解、可以閱讀，進而理解AI到底是怎樣作出決策。