IXThinker·2025-07-03 20:30

凍結LLM做文本編碼器 LIFT拆解對齊機制

多模態對齊模型近來興起以凍結大語言模型充當文本編碼器的做法，柏克萊與香港大學團隊的LIFT研究首次系統剖析這一範式的優勢與設計要點。

範式轉變

CLIP等主流框架需要從零訓練文本與圖像編碼器，算力成本高昂，處理長文本或大規模數據時尤其明顯；新範式改用預訓練LLM作文本編碼器，省下重訓開銷。