IXThinker·2025-11-06 13:00

BERT原是擴散一步？Karpathy陷沉思

一個來自德州大學奧斯汀分校研究生的實驗引發熱議：他基於RoBERTa把表示學習算法改造為生成算法，提出BERT本質上只是文本擴散中的一步，連Karpathy也為之沉思。

驚人結論何來

計算機科學研究生Nathan Barry指出，以表示學習聞名的BERT，實際上對應文本擴散過程中的一個步驟。他以「強化版BERT」RoBERTa為基礎，成功將其改造為可用的生成算法。