IXThinker·2026-09-10 13:20

手語翻譯新方法 動態抑制無視覺證據詞

自動手語翻譯長期存在隱蔽難題：模型即使已對齊視覺與文本，仍可能被局部合理卻缺乏視覺證據的詞帶偏，偏差隨生成累積成整句偏移。新研究從強化學習更新規則入手，提出置信度感知的優化方法。

偏移如何發生

模型在逐詞生成時，可能選出看似通順、但畫面中沒有證據支持的詞彙。這些詞又成為後續生成的上下文，令偏差滾動放大，最終整句語意走樣。