IXThinker·2025-04-08 16:00

LeCun謝賽寧新作：無語言監督的視覺預訓練

LeCun與謝賽寧等人發布新模型Web-SSL，驗證自監督學習在多模態任務的潛力：擴展模型與數據規模後，無需語言監督的效果可媲美甚至超越CLIP，為視覺預訓練開闢新方向。

兩條路線

視覺表徵學習長期有兩條路徑：CLIP等語言監督方法依靠成對圖文數據對齊語義；自監督學習則只用圖像本身學習，無需文字標註。後者長期被認為在多模態任務上處於劣勢。