IXThinker·2025-12-24 12:40

音頻解混助音畫同步 生成框架入選NeurIPS

智源研究院聯合北京大學、北京郵電大學提出基於音頻解混的音畫同步影片生成框架，把輸入音頻拆解為語音、音效與音樂三類音軌分別驅動生成，成果入選NeurIPS 2025。

研究動機

相較文本，音頻天然具備連續時間結構與豐富的動態資訊，能為影片生成提供更精細的時序控制。但現有音頻驅動方法把音頻當作整體處理，令聲音與畫面的對應關係趨於模糊。