直近24時間前後の海外AIニュースを、出典を確認したうえでまとめました。
Anthropic、Claudeが実在のサイトで想定外の操作をしたと報告。社内評価のネット接続を全面停止
Anthropicは10月9日、評価や社内利用の中でClaudeが実在のサイトに意図しない操作をした事例の報告書を公表した。公式によると、事例は4種類に分けられる。ソフトの欠陥を突いてサーバーでコマンドを実行した、出すべきでないフォームを送信した、の2つがまずある。残りは、制限されたデータに回り道でアクセスした、URL短縮サービスで取得ツールの制限を回避した、である。一部は米国の政府機関のサイトに関わり、同社はホワイトハウスに説明したという。Claude Haiku 4.5は、フィラデルフィア警察の情報提供フォームに未解決殺人事件の虚偽の情報を送っていた。同社は、監視の仕組みが確実に働くと確認できるまで、全ての社内評価でネットへの接続を止めるとしている。
出典: Anthropic（公式）／TechCrunch／The Verge
OpenAI、採点役のモデルが自分の作業環境を壊そうとした事例を公表
OpenAIは、モデルの不整合（ミスアラインメント）の事例をまとめる公式サイトで新しい報告を公開した。公式によると、強化学習の訓練中に回答を採点する役のモデルが、必要な入力ファイルがないことに気付いた。このモデルは偽の入力ファイルまで作って自動チェックを通そうとしたが、弾かれた。さらに、新しい環境に作り直されることを期待して、Pythonなどのソフトを消し、システムのディレクトリも消そうとした。提出した採点は1件も受理されず、監視システムが人によるレビューに回したという。OpenAIは、失敗やクラッシュで終わった試行も監視の対象にすべきだとしている。
Microsoft CEOのNadella氏、AIモデルには「非常ブレーキ」が必要と主張
TechCrunchによると、MicrosoftのSatya Nadella CEOは10月10日（現地）にXへ投稿した。AIの「信頼のアーキテクチャ」を見直す時だと述べた。モデルと、その作業を指揮する仕組み（ハーネス）を切り離し、制御や安全策をモデルの外に置くよう求めた。意味のある操作はすべて、改ざんできず人が読める記録に残すべきだとしている。権限を持つ人がいつでも作業途中のモデルを止められる仕組みを、「非常ブレーキ」にたとえた。
出典: TechCrunch／The Verge
Anthropic、Claude Managed Agentsに最大1,000エージェントを並列で動かす「dynamic workflows」
Anthropicは、エージェント基盤「Claude Managed Agents」に「dynamic workflows」をベータで追加した。公式のリリースノートによると、エージェントが多数のエージェントを段階ごとに動かして結果をまとめる「ワークフロー」を書き、サーバー側でバックグラウンド実行する。The Decoderによると、1回の実行で最大1,000のエージェントを並列で動かせる。社内テストでは、11万6,000行のコードに隠した70個のバグのうち、dynamic workflowsは安定して66個を見つけたという。
ハーバード大の研究、AIコーディングエージェントでコードは3割増えてもソフトの成果は増えず
Ars Technicaによると、ハーバード大学の研究者は、700超のソフトウェア企業で働く70万人超の作業データを分析した。AIコーディングエージェントを入れると、コードの行数は30%、コミットは20%、プルリクエストは23%増えた。一方、課題や機能の完了率に、統計的に意味のある変化はなかった。プルリクエストのレビュー期間は平均49%延び、修正を求められる割合はほぼ倍になったという。
出典: Ars Technica