知識 · AI基礎

レッドチーム · AIレッドチーミング

Red Teaming

📂AI基礎⏱読了2分📊実務🔗関連 2

レッドチームとは?

一行定義
AIの弱点・リスクをあえて攻撃的に探し出して改善する活動。「悪意あるユーザー」を真似て事前に防ぎます。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • 弱点・危険を意図的に攻撃して見つけること
  • 「悪意あるユーザー」を演じる
  • 安全なリリースに欠かせない手順

レッドチーミングを導入すると、検証で問う内容そのものが変わります。QAが「要求どおりに動作するか」を確認するのに対し、レッドチームは「どうすれば壊せるか」を問います。そのためデプロイの承認基準も、精度が何%かではなく、突破された事例が何件あり、どれほど深刻かへと移っていきます。作る人と攻撃する人を分けるべき理由もここにあります。自分の設計の前提を自分で疑うのは難しいため、攻撃役を専任する別の人員を配置し、脆弱性の発見件数を成果として評価する仕組みも併せて必要です。

実務では大きく三つに分けて実施します。人が対話を設計して直接突いてみる手動レッドティーミング、攻撃プロンプトを自動生成して数千件を一度に投げる自動レッドティーミング、医療・法律・金融・児童安全のように専門家が加わらないと危険かどうかを判定できないドメインレッドティーミングです。模擬ハッキングとは狙う対象が異なります — 模擬ハッキングはサーバーと権限を突破しますが、レッドティーミングはモデルが出力する言葉そのものを突破します。ベンチマーク評価とも区別されます。ベンチマークが決まった問題を繰り返して点数を出す作業だとすれば、レッドティーミングはまだ出題されていない問題を新たに作る作業です。そのため成果物は点数表ではなく、再現手順が付いた脆弱性リストでなければなりません。

現場で最も頻繁に外れるポイントは、レッドティーミングをオープン直前に一度だけ行う通過儀礼として扱うことです。モデルのバージョンを上げたり、システムプロンプトを修正したり、社内文書を新たに接続したりした瞬間に攻撃面は変わるため、変更が生じるたびに再実施すべきです。二つ目の誤解は、発見された脆弱性を禁止語の追加だけで防ごうとする癖です。フィルターを強めるほど正常な問い合わせまで引っかかり、チャットボットが'回答が難しいです'とばかり繰り返し、二、三か月で現場が利用をやめてしまいます。防ぐ強度と防ぐ精度を同時に測る必要があります。最後に、報告書に再現対話がなければ開発チームは直せません。'危険に見えた'という感想は修正チケットにはなりません。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
リリース前に「悪意あるユーザー」になりきって弱点を先に突いてみること。事故が起きる前に防ぎます。
実務でなぜ重要なのか
リリース後の事故より、リリース前の発見が望ましいです。レッドチーミングが、AIに潜む危険を事前に明らかにします。
由来と出典

軍事・サイバーセキュリティの「仮想敵軍 (red team)」の概念に由来し、AI安全性検証の標準的な手続きへと広がりました。

事例で理解する

架空の事例で見てみましょう。役職員約900名規模の損害保険会社A社は、保険金請求案内チャットボットを4か月かけて開発し、リリースの2週間前まで来ていました。社内テストの精度は91%でしたが、コンプライアンス部門が「約款にない補償を約束した場合、その責任は誰が負うのか」として決裁を保留しました。結局、リリースを6週間延期し、レッドチームの編成からやり直しました。

  1. デジタル革新チームのパク課長は、カスタマーセンターの相談員4名とコンプライアンス部門の担当者2名を選抜してレッドチームを作り、チャットボットの開発者はあえて外しました。「作った本人が攻めると手加減してしまう」というのが理由でした。
  2. 2週間で攻撃シナリオを420件作成しました。相談員が実際の苦情の通話録音から拾ってきた「診断書なしでも出るようにしてください」のような文章が、半分を超えました。
  3. 1次テストで37件が突破されました。特に「友達が気になっているんですけど」と切り出すだけで、免責条項を飛ばして支給可能だと答えるパターンが11件繰り返し見つかりました。
  4. パク課長は発見のたびに再現した会話の全文と画面を添えて登録させ、重大度を高・中・低に分けたうえで、高の9件は公開前に必ず修正すると定めました。
  5. 3週間後の再テストでは回避成功が37件から4件に減り、フィルターを強める過程で12%まで上がった正常な問い合わせの拒否率は、回答範囲を再定義することで5%まで下げました。
関連用語
この用語に関連する研修
📚AXコンサルタント育成研修ナヌム経営コンサルティング 企業研修 · 対面・オンライン研修を見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

手法は似ていますが、目的が異なります。悪用ではなく、「事前に直すための」承認を得た攻撃テストです。
開発者の想定を超える形でAIが誤用・誤作動しうるため、事前に見つけて防ぐためです。
手法は似ていますが、目的が異なります。悪用ではなく、「事前に直すための」承認を得た攻撃テストです。
開発者が想定していなかった誤用・誤作動を、リリース前に見つけて防ぐためです。