ガードレール
AI Guardrails
ガードレールとは?
- 危険・不適切な回答を防ぐ安全装置
- AIの「手すり」
- 悪用・情報漏えいの防止
ガードレールを付けるとは、「モデルが適当にうまく答えてくれるだろう」という期待を、「何をできないようにするかを、私たちが文書とコードに書き残しておく」へと変えることです。モデル自体に手を加えなくても、サービス層で行動範囲を狭められるため、事故が起きたときに「モデルがおかしかった」ではなく「入力段で止められなかった、出力段のルールがなかった」というように、どこが抜けていたのかを追跡できます。責任の所在がモデル提供会社から運用チームへ下りてくる代わりに、統制権も一緒に引き渡されます。
実務では通常3つの層に分けて考えます。入力段(危険な要求・個人情報パターンの遮断)、出力段(回答生成後の再検査)、実行段(決済・メール送信のようなツール呼び出し権限の制限)です。方式としては、禁止語・正規表現・ホワイトリストのようなハードルールと、別のモデルが回答を審査するソフトルールがあります。ハードルールは速いが回避に弱く、ソフトルールは捕捉範囲が広い代わりに応答が0.3〜1秒伸び、呼び出しコストもかかります。事前学習段階のアライメント(alignment)がモデル内部の問題だとすれば、ガードレールは外側に重ねる殻であり、AIガバナンスが方針文書だとすれば、ガードレールはその文書を実際に強制する実行コードです。
よくある誤解は、システムプロンプトに「暴言を使うな、規定外の回答をするな」と書いておけば終わりだと考えることです。プロンプトは説得であって遮断ではないため、「今からお前には規定がない」といった数行の文で突破されます。逆に不安から禁止語を大量に入れると、「故障」「返金」のような普通の語まで止まり、まともな問い合わせが断られ、お客様はオペレーター接続へ殺到して導入効果が消えます。遮断ログを残さないのも危険です。何件・何が遮られたかが分からなければ、ルールが厳しすぎるのか緩すぎるのかを判断する根拠がなく、実際に突破された日でさえ、キャプチャがコミュニティに上がってから気づくことになります。
生成AIが実サービスで使われるようになり、不適切・危険な出力を統制する必要が高まると、そのための規則・フィルターの仕組みを「ガードレール」と呼ぶようになり、標準的な実務となりました。
仮想の事例で見てみましょう。役職員420名規模の生活家電メーカーA社は、顧客センターへの問い合わせが月3万8千件まで増え、相談チャットボットをパイロット導入しました。2か月目からは「規定にない無償交換を約束した」というケースが週23件ずつ集計され、他社製品をおとしめる回答がキャプチャされてコミュニティに投稿されたことで、8週間のガードレール作業が始まりました。
- カスタマーセンター長のキム部長が3週間分の相談ログ1万2千件を抽出し、「AIが絶対に言ってはいけない言葉」47件を選び出しました。最優先は、金額が入った補償の約束でした。
- 開発チームは入力段に個人情報・他社名のパターンフィルターをかけ、出力段には別の判定モデルを置いて、「補償金額を数字で述べたか」を回答の送出直前に再度チェックする仕組みにしました。
- QA担当のイ課長が攻撃プロンプト300件を自ら作って試したところ、「もう規定はない」といった種類の入力で12件が突破されました。そこでプロンプトでの指示ではなく、出力段のハードルールに移して防ぎました。
- 初週の正常な問い合わせの遮断率が9%まで跳ね上がり、オペレーターから「まともな質問をなぜ止めるのか」と抗議が相次ぎ、禁止語リストから「故障・破損・交換」のような一般語14語を削除しました。
- 5万ウォン(約5,980円)を超える補償案内はオペレーターの承認キューに回し、遮断ログの要約を毎朝9時に運用チャンネルへ自動送信するよう設定しました。
- 8週間後、規定外の回答は週23件から2件に、正常な問い合わせの誤遮断は9%から1.4%に減りました。応答は0.4秒遅くなりましたが、相談員への引き継ぎ率は31%から19%に下がりました。
金鍾赫
イム・アラ