商湯開源 Loop-9B-Preview
商湯開源多模態模型 SenseNova Loop-9B-Preview,屬約 9B 參數的 Looped Transformer 循環架構,權重與程式碼分別發布;32 層權重循環運算達 56 層深度,官方自報性能達 27B 級別。
循環架構設計
該模型把「加深計算深度」的做法,由堆疊參數改為重複使用同一批層:32 層解碼器中,第 4 至 27 層組成的模組以共享權重連續執行兩次,加上首尾各 4 層,令模型每次前向傳播完成 56 層計算,但只需儲存 32 層的權重。
開源與授權安排
SenseNova Loop-9B-Preview 為多模態模型,屬 Preview 預覽階段。權重已放上 Hugging Face,程式碼則放上 GitHub,採用 Apache 2.0 許可證。開發者與研究人員可自行取得權重與程式碼,用於測試或二次開發。
性能數據屬自報
有關性能的說法目前全部屬商湯方面公布的數據,該公司稱模型可達 27B 級別性能,即以約 9B 的參數量取得相當於較大模型規模的表現;第三方獨立評測數據目前未見同步公布,實際表現有待進一步驗證。
