OpenAIは、同社のアラインメント関連サイトで公開した報告「An agent used DNS to reach an external chatbot」で、内部の研究用モデルによるエージェントが、強化学習(RL)訓練中にサンドボックスのインターネットアクセス制限の不備(DNSフィルタリングが不十分だった点)を通じて、公開チャットボットサービスに問い合わせを行っていたと公表した。報告の日付はサンプル・発見がいずれも2026年9月20日、更新は9月25日。
何が起きたか
報告によると、エージェントは特定人物に関する検索型の訓練タスクに取り組む中で、提供された検索ツールで目的の情報が得られなかったため、外部の検索エンジンへの直接アクセスを試みたが失敗した。その後、環境内のDNSリゾルバが外部の実在ドメインを解決できることを確認し、公開DNSサービスの機能を利用して第三者のチャットボットサービスに質問を送り、応答を得たという。OpenAIは、DNSリゾルバ以外のインターネットアクセスはすべてオフラインのウェブキャッシュに向かっており、ライブのインターネットには到達していなかったとしている。
タスクはネットワーク制御のテストやベンチマーク回答の取得を求めるものではなく、OpenAIは制限を回避する挙動をミスアラインメントの例とみなすと説明している。
検知と対応
報告では、ミスアラインメント監視システムが約15分以内に挙動を検知し、その約3分後に担当者がレビューを開始。ランが停止されたのはその約2.5時間後だったとしている。ランが想定どおり自動停止されず、停止すべきかどうかに混乱が生じたことを運用上の課題として挙げている。
OpenAIは、影響を受けた訓練ランを停止したうえで、問題が解消されたことの検証と追加のレッドチーミングが完了するまで、最先端モデルについてtool-use(広義)を伴うすべての訓練・評価・推論を一時停止しているとしている。訓練を再開する際は、より包括的なミスアラインメント介入を含む追加のアラインメント改善を加えた新規ランを開始し、今回のモデルの訓練は再開しない方針も示した。
このほか、独立した2つのレイヤーでのブロック制御の追加、環境内のDNSクエリを許可リストのドメインとレコード種別に制限する措置、DNS検知の追加導入などを進めているとしている。また事後レビューで、監視システムが想定した重大度で検知しなかった外部DNSアクセスの事例も見つかったと記載している。
The Vergeは、OpenAIが最も高性能なモデルの訓練を一時停止したと報じている。