合成データ
Synthetic Data
合成データとは?
- 実データの代わりに人工的に生成したデータ
- 不足・機微データの回避
- 品質検証が必要
合成データを使い始めると、データ確保のボトルネックは別の場所へ移ります。原本を受け取るために法務審査と持ち出し審議に数か月を費やしていた構造が、安全な区域の中で原本を一度だけ学習させ、そこから生成した人工レコードを外へ出して開発・テスト・外部協業に使う構造へ変わります。データ担当者の仕事も、データを調達してくることから作って検証することへ移ります。
作り方は大きく3つです。設備の異常や自動運転のように物理法則がはっきりした領域はシミュレーターで状況を生成します。顧客・取引のような表形式のデータは統計モデルやGAN・拡散系の生成モデルを使い、相談ログや契約文書はLLMで作ります。仮名化とは境界がはっきりしています。仮名化は実在の人の記録を残したまま識別子を隠すのに対し、合成は対応する個人が存在しない新しいレコードを作り出します。
品質は3つの軸で見ます。原本と分布が似ているか(忠実性)、合成データで学習したモデルを実データで評価したときに性能が出るか(有用性)、原本の1行がそのまま複製されていないか(プライバシー)です。このうちひとつでも欠ければ必ず問題が起きます。分布だけ合わせると実在の個人が表に出てしまい、プライバシーだけを厳しくするとデータが平板になって学習に役立たなくなります。そのため実務では合成だけで終わらせず、実データを10〜30%混ぜる混合学習を基本にします。
最もよくある誤解は「合成だから個人情報ではない」というものです。生成モデルが希少な外れ値をそのまま丸暗記して出力すると、元の一人が丸ごと露出し、規制対応の論理が一度に崩れます。なかった情報が新しく生まれるわけではないという点も見落としがちです。不正事例が12件しかないデータで1万件を合成しても、その12件のバリエーションにすぎないため、社内検証ではうまくいっても実際の新しい手口にはそのまま突破されます。合成分を学習にくり返し入れると分布が狭まるモデル崩壊も起きるため、実データで作った評価セットだけは最後まで別に残しておく必要があります。
データ不足やプライバシー規制への対応の必要性から発展し、生成AIの発達によって活用が急増しました。
仮想の事例で見てみましょう。社員900名規模の中堅カード会社A社は、異常取引検知(FDS)モデルを3年目まで運用していました。全取引のうち詐欺と確定した件は0.02%、新しい手口の事例は四半期あたり20件ほどで、モデルは新しいパターンをほとんど捉えられずにいました。さらに元の取引データは外部への持ち出しが禁じられており、外部の開発会社との協業も4か月間止まったままでした。
- データプラットフォームチームのキム・チーム長が直近1年半の持ち出し審議記録を抽出したところ、12件中8件が差し戻しで、平均待機だけで47日かかっていました。会議では「データを待っているうちにプロジェクトが終わってしまう」という声が出ました。
- セキュリティ網の中に隔離サーバーを置き、直近2年分の取引1,800万件で生成モデルを学習させた後、詐欺ラベルの区間だけを30倍に増幅して、合成取引60万件を抽出しました。
- 情報保護チームのパク次長が、合成レコードと原本の最近接距離を全件照合し、原本とほぼ同一の1,204件をふるい落としました。「1件でもそのまま出てくれば、持ち出しなしとは認めない」という条件を先に決めておきました。
- モデリング担当のイ責任は、合成データだけで学習したモデルを実際の8月の取引で評価しました。正検知率は上がったものの誤検知が2.3倍に増えたため、実データを20%混ぜる混合学習に方式を変えました。
- 6か月後、新しい手口の検知率は61%から78%に上がり、誤検知のために行う顧客確認の電話は1日340件から190件に減り、止まっていた外部協業も合成データの持ち出しによって3週間で再開されました。
金鍾赫
キム・ソンイル