IXThinker·2025-02-27 20:40

Anthropic談對齊評估：罕見危險行為難捕捉

Anthropic發文探討對齊科學的核心課題：如何在大規模部署之前，預測並防止AI模型展現欺騙、提供致命武器資訊或破壞人類監控等危險行為。研究指出，評估與部署之間的規模錯配，正是當前安全評估的最大難題。

預警信號搜索

研究人員曾透過實驗檢查模型是否可能出現「欺騙」這類複雜不良行為，並嘗試識別不對齊的早期預警信號；亦開發了評估方法，測試模型會否採取提供致命武器資訊、破壞人類監控等令人擔憂的行為。