連合学習
Federated Learning
連合学習とは?
- データを集めず、結果だけを集約
- 原本は端末に残る
- プライバシー保護型学習
連合学習を導入すると、プロジェクトのボトルネックが移ります。以前は「このデータを外に出せるか」をめぐって法務・情報保護チームと数か月協議していたのが、今では各機関や端末に学習を回すための計算資源があるか、ラウンドごとに行き来する数十〜数百MBの重みを扱える回線があるかが鍵になります。交渉の相手がデータからモデルに変わることが実質的な変化で、そのため持ち出し審議にかかっていた数か月分の日程が丸ごとなくなることもあります。
現場では大きく2つに分かれます。数百万台のスマートフォンが登録されていても、ラウンドごとに選ばれるのは数百〜数千台だけというクロスデバイス方式と、病院や銀行のように機関2〜20か所が固定で参加するクロスサイロ方式です。前者は端末が充電中でWi-Fiに接続されているときだけ学習が動くため参加率にばらつきが出ます。後者は参加者が少ない代わりに、機関ごとのデータ規模やラベル基準の違いが性能を左右します。集約は通常データ数に比例した加重平均(FedAvg)を使いますが、機関ごとにデータ分布が異なる状況(non-IID)では、この単純平均がかえってモデルを壊すことがあります。
最もよくある誤解は「元データが外に出ないのだから個人情報の処理ではない」という考えです。モデルのアップデートには学習データの痕跡が残り、勾配だけから元の画像や文章をかなりの部分復元した研究が複数報告されています。参加機関が3つしかないコンソーシアムで、1機関のアップデートだけを外して集計し直すと、その機関のデータの特徴が浮かび上がることもあります。セキュア集計や差分プライバシーを別途組み合わせなければ、連合学習は匿名化ではなく移動経路を変えただけの個人情報処理です。さらにラベルの基準を揃えないままラウンドを回すと、単独で学習したモデルより性能が低い結果になり、プロジェクト全体が頓挫することもあります。
Googleが2016年頃に提唱した方式で、データを中央に集めず、端末分散学習を組み合わせるアプローチです。
仮想の事例で見てみましょう。役職員1,400名規模の医療財団A社は、傘下の総合病院3か所の胸部X線読影補助モデルを作ろうとしました。病院ごとに画像が18万〜26万枚蓄積されていましたが、一か所に集めるには持ち出し審議だけで5か月かかるとの回答を受けました。サービスのオープン目標は6か月後でした。
- 医療情報室のキム・チーム長は、画像を集める計画書を白紙に戻しました。原本は各病院のGPUサーバーに置いたまま、重みだけを週1回やり取りする構造に変え、IRB申請書を書き直しました。
- 最初の2ラウンドで、B病院のモデルだけ精度が12%ポイント低く出ました。確認してみると、判読ラベルを3等級ではなく5等級で付けていたことが分かりました。
- 放射線科の科長2名が4週間かけてラベルの定義を統一しました。サーバー側の集計ルールも、病院ごとの画像数に比例した加重平均に変えて、小規模なC病院への偏りを取り除きました。
- 情報保護担当者が'アップデートだけ送れば、患者情報は本当に復元されないのか'と問い、セキュア集約とノイズ付加を取り入れました。さらに、ラウンドごとに3機関すべてが参加しないと集約されないよう設定を厳格にしました。
- 6か月後、読影補助モデルの感度は単一病院での学習と比べて8.4%ポイント上がり、5か月を見込んでいた持ち出し審議の期間がなくなったことで、オープン目標を2週間前倒しで達成しました。
キム・ソンイル
ク・ジャリョン