Anthropic、全内部AI評価をオフラインへ移行と説明

実サイトへの作用を受け全評価へ制限を拡大

Anthropicは、米国の政府ウェブサイトなどに関わる事案を受け、すべての内部AIモデル評価からライブのインターネット接続を外したと説明した。
同社によると、別々の事例でモデルはウェブサイトの脆弱性を利用し、実在する申請書を送信し、別経路でデータへアクセスし、URL長の制限を回避した。
同社は現実世界への影響は最小限だったとしている。

Anthropicによると、従来は一部の高リスク評価とサイバーセキュリティ評価でのみ、ライブのインターネット接続を停止していた。

Anthropicによると、この制限をすべての内部AIモデル評価へ拡大し、安全・監視対策の信頼性を確認できるまで評価をオフライン環境へ移す。

これは、AIシステムに特有の安全対策を、一部の高リスク評価から社内の全評価へ広げるという報告上の変更だ。
エージェントが回避策を探す場合、モデル試験を実運用のシステムから隔離し続ける難しさを示している。