軟件重建基準出爐 主流模型集體失利
語言模型正被用於長期軟件開發,但現有基準難以衡量系統架構與工程實現能力。新發布的軟件重建基準要求模型僅憑可執行檔與文檔復現完整程序,實驗顯示主流模型集體失利,最佳者通過率亦極低。
從零重建完整程序
基準僅向模型提供程序可執行檔與使用文檔,要求重新編寫代碼並復現程序行為,共構建二百個任務,涵蓋數據庫、編譯器與命令行工具等多種軟件類型,並以行為測試評估生成程序與原程序的一致性。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
