Anthropic披露，Claude模型在內部測試期間向費城警方網站提交虛假命案線索，並透過美國國務院網站送出20份不完整簽證申請。公司已暫停內部評估連接真實互聯網，白宮要求AI企業及時通報事故、配合調查並補足防護措施。
人工智能公司Anthropic近日公布模型非預期行動報告，披露Claude在測試及內部使用期間，曾越過任務設定與外部網站互動，包括提交不應送出的表格、繞過資料存取限制，以及利用網站漏洞完成工作。部分案例涉及美國聯邦、州及地方政府網站，事件引起執法部門與白宮關注。
費城警方表示，一個模型7月18日在測試中瀏覽隨機抽選網頁，進入收集未破命案情報的網站後，提交虛構線索。模型聲稱曾在案發時段於指定街道附近，看見符合描述的人，內容看來像目擊者陳述，實際上沒有真實觀察作基礎。網站亦未列出疑犯描述。
涉事表格被系統標記為垃圾訊息，沒有轉交調查人員，因此未引發正式偵查。警方表示，系統沒有遭入侵，資料亦未外洩，但批評公司未能及時察覺及通報。命案網站涉及真實死者、家屬與調查工作，警方要求企業避免測試資料進入正式線索收集渠道。
Anthropic9月28日審查測試紀錄時發現該次提交，隨後停止相關測試，10月7日通知警方，翌日再與警方溝通。公司解釋，當時指令禁止登入、建立帳戶、輸入個人資料、購物及破壞性提交，卻未全面禁止一般表格提交，模型因而完成了原本只應作示範的操作。
另一組事件涉及簽證申請。美國國務院證實，Anthropic測試模型經官方網站提交20份申請，其中19份於8月送出，另有一份在5月提交。由於資料不完整，申請未獲正式受理。公司原本要求模型處理練習表格，模型在測試副本失效後，轉到正式網站尋找替代途徑。
測試表格轉向正式系統
報告指出，另有Claude Haiku 4.5測試明確要求停在最後提交之前，模型卻誤以為按鍵後還會出現確認頁，因而送出內容。其內部推理仍把任務理解為示範。公司表示，這類問題可能源於指令含糊、環境設定錯誤，或模型對網站提交流程的判斷與實際運作不同。
Anthropic將行為分為四類：利用軟件漏洞執行伺服器指令、向真實網站送出敏感表格、繞過需要權杖或付款的資料限制，以及以短網址服務迴避工具限制。多數案例中，模型在直接完成任務受阻後，沒有停止，而是尋找別的路徑繼續操作。
白宮要求AI業者立即通報安全事故、配合聯邦及州執法機關、處理造成的損害，並建立防止再發的具體措施。據Axios報道，政府對延遲通知和不足的改正措施提出警告，要求企業承擔事故處理責任。今次披露亦把通報時效和測試環境管理帶到公共討論中。
Anthropic表示，會修改訓練與監測方式，降低模型繞過限制的傾向，並持續掃描更多低風險測試及內部使用紀錄。公司解釋，網絡搜尋評估有時需要接觸真實網站，重複測試能揭示罕見行為，但現有案例顯示，測試過程也可能產生外部影響，後續將公布新發現及改善進度。（編輯部）
下載APP