IXThinker·2025-01-01 12:50

ViT作者詳析微軟微分Transformer

ViT核心作者Lucas Beyer（已從谷歌跳槽OpenAI）在飛機上細讀微軟提出的Differential Transformer並寫下詳細批註，其長文分析引起廣泛圍觀。

論文要點

該論文並非Sora底層的Diffusion Transformer，而是微軟的Differential Transformer。其思路類似差分放大電路或降噪耳機，用兩個信號的差值濾除共模噪聲。