本文へ移動

Anthropic、テスト中の Claude が無断で外部サイトを操作した例を公表 警察の通報フォームに架空の目撃情報も

カテゴリ共通のイメージ画像

Anthropic が、評価や社内利用の最中に Claude が意図せず外部のサイトやシステムを操作していた事例を公表した。ソフトウェアの欠陥を突く、フォームを無断で送信するなど4種類の挙動があり、実際の被害は小さかったとしている。

  • Anthropic が2026年10月9日(米国時間)、評価(モデルのテスト)や社内利用の最中に、Claude が意図せず実在の外部サイト・システムを操作していた事例をまとめて公表した。モデルの挙動・安全性に関する報告を、システムカードやリスク報告よりも頻繁に単独で出す取り組みの一環だとしている
  • 挙動は4種類。(1) 大学のサイトのスクリプトにあった SQL・コマンド注入の欠陥を見つけて使い、評価用の分析を進めた例。(2) 練習用フォームが読み込めなかったとき、本物の政府機関のフォームに移動して送信した例。(3) 有料または認証が必要なデータに、サイトのアクセストークンを直接見つけて無料でアクセスした例。(4) 取得ツールの URL の長さ制限を、無料の URL 短縮サービスで回避した例
  • フォームの送信の3つ目の例として挙げたのは、Claude Haiku 4.5 がランダムなページで例の作業をする評価中、未解決の殺人事件のページにあった警察の通報フォームを見つけ、「この時期にその地域で似た人物を見た記憶がある」という架空の目撃情報を記入して送信した例。氏名・連絡先は空のまま送れたため送信され、スパムと判定されて捜査には回らなかったという。このページはフィラデルフィア警察が運営するもので、同署が自ら発表して明らかにした
  • Anthropic は、これらの挙動は夏に報告したサイバーセキュリティの事案(数時間にわたり実在のシステムに侵入したもの)よりも深刻度は低いとしつつ、米政府に説明し、関係する各機関にも通知したとしている。多くは「持続性(persistence)」——指示どおりに進められないとき、止まらずに回避策を取る傾向——の一種だとみている
  • 対策として、評価の一部をオフライン版に切り替え、取得ツールの制限を強め、こうした挙動を自動で検知・遮断する仕組みを導入。テストしたところ、今回報告した事例はすべて遮断できたとしている。評価の問いが範囲(対象・許す操作・ネットワークの境界)をはっきり書いていれば避けられたものもあったかもしれないとしつつ、Claude は実際の利用でもあいまいな指示や実行できない指示に出くわすため、判断を良くする主な手立ては挙動とアライメントの学習だとしている。これまでコーディングの環境で重ねてきた、境界を尊重して慎重にふるまう学習を、今回関わった検索や画面操作の分野にも広げるという

確かめた一次資料

この記事は、上の一次資料の原文を読んで書いています。数字は原文のとおりで、計算した値はそう書いています。