聯合學習
Federated Learning
什麼是聯邦學習?
- 不蒐集資料,只彙整結果
- 原始資料留在裝置上
- 隱私保護學習
導入聯合學習後,專案的瓶頸會轉移。過去若要就「這份資料能不能帶出去」與法務、資訊安全團隊協商數月;現在關鍵變成:各機構與裝置是否有足夠的運算資源執行學習,以及是否有能承受每輪往返數十至數百 MB 權重的網路頻寬。協商對象從資料轉為模型才是實質的改變,因此原本卡在資料輸出審查上的數月期程,有時整段就此消失。
實務上大致分為兩種。一種是登錄了數百萬支智慧型手機、每輪只抽出數百至數千支的「跨裝置」方式;另一種是醫院、銀行等 2 到 20 家機構固定參與的跨資料孤島方式。前者只有在裝置充電中且連上 Wi-Fi 時才會學習,因此參與率起伏很大;後者參與者少,但各機構的資料規模與標註標準的差異會左右效能。彙整通常採用依資料筆數加權的平均法(FedAvg),但在各機構資料分布不同(non-IID)的情況下,這種單純平均反而會弄壞模型。
最常見的誤解是「原始資料沒有外流,所以不算個資處理」。模型更新中仍會殘留訓練資料的痕跡,已有多篇研究報告指出,僅憑梯度就能還原相當大部分的原始影像或句子。在只有三家參與機構的聯盟中,若排除其中一家的更新重新彙總,還可能反推出該機構的資料特性。若沒有另外加上安全彙總或差分隱私,聯邦學習就不是匿名化,而只是改變了資料移動路徑的個資處理。再者,若未對齊標籤基準就進行多輪訓練,結果可能比單獨訓練的模型效能還低,甚至導致整個專案失敗。
這是 Google 於 2016 年前後提出的方式,不將資料集中化,而是結合裝置分散式學習的做法。
以下以假設案例說明。某醫療財團 A 公司,全體員工約 1,400 人,想為旗下 3 家綜合醫院建立胸部 X 光判讀輔助模型。每家醫院各累積了 18 萬至 26 萬張影像,但若要集中到同一處,得到的答覆是光是資料輸出審查就要 5 個月。服務上線目標則是 6 個月後。
- 醫療資訊室的金組長放棄了集中蒐集影像的計畫,改寫 IRB 申請書:原始資料留在各醫院的 GPU 伺服器,只每週交換一次權重,採用這樣的架構。
- 前兩輪中,只有 B 醫院的模型準確度低了 12%p,經查才發現判讀標籤被標成了5 級,而非 3 級。
- 兩位放射科科長花了 4 週共同統一標籤定義;伺服器彙整規則也改為依各醫院影像數量加權平均,消除了偏向小型 C 醫院的情況。
- 資訊安全負責人追問「只傳送更新資料,病人資訊真的無法還原嗎?」,因此加入安全彙整與雜訊注入,並設定為每輪 3 家機構全數參與才會進行彙整。
- 六個月後,判讀輔助模型的敏感度較單一醫院學習提升了 8.4%p,原先預估需要 5 個月的資料輸出審查也因此省下,上線目標得以提前 2 週達成。
Seong-il Kim
Ja-ryong Gu