合成資料
Synthetic Data
什麼是合成資料?
- 以人工生成的資料取代實際資料
- 繞過資料不足與敏感資料
- 需要品質驗證
開始使用合成資料後,資料取得的瓶頸會轉移到其他地方。過去為了取得原始資料,需要花數月做法務審查與外流審議的結構,將改為:在安全區域內只對原始資料進行一次學習,再把由此產生的人工紀錄對外輸出,用於開發、測試與外部合作。資料負責人的工作也會從「去取得資料」,轉為「製作並驗證資料」。
製作方式大致分為三種。設備異常或自駕車等物理法則明確的領域,以模擬器製造各種情境;客戶、交易等表格型資料,使用統計模型或 GAN、擴散模型等生成模型;諮詢紀錄或合約文件則以 LLM 製作。與假名化的界線很清楚:假名化是保留真實個人的紀錄、只遮蔽識別碼,而合成則會產生不存在對應個人的全新紀錄。
品質看三個面向:是否與原始資料的分布相近(忠實度)、以合成資料訓練的模型用真實資料評估時是否有表現(效用),以及原始資料的任何一筆是否沒有被原樣複製(隱私)。這三者缺一必定出問題——只對齊分布,真實的個人就會浮現;只收緊隱私,資料又會變得平淡,對學習毫無用處。因此實務上不會只用合成資料收尾,而是以混入 10~30% 真實資料的混合學習為基本配置。
最常見的誤解是「合成了就不是個資」。若生成模型把罕見的異常值整筆背下來輸出,原本那一個人就會原樣曝光,合規的論述也會瞬間崩潰。也不會憑空產生原本沒有的資訊,這點也很容易被忽略。例如只用 12 筆詐欺案例合成出 1 萬筆,其實只是那 12 筆的變體,內部驗證時表現良好,遇到真正的新型手法仍會被攻破。若反覆把合成資料再拿來訓練,分布會逐漸變窄,這就是模型崩潰;因此至少要把由真實資料製成的評估集獨立保留到最後。
源於資料不足與隱私法規的因應需求,隨著生成式 AI 的發展,應用大幅增加。
我們用一個假設案例來看。員工 900 人的中型信用卡公司 A 公司,已經營運反詐欺偵測(FDS)模型三年。全部交易中確認為詐欺的僅 0.02%,新型手法的案例每季只有 20 件左右,因此模型幾乎抓不到新的模式。更糟的是,原始交易資料不得對外輸出,與外部開發商的合作也已停滯四個月。
- 資料平台組金組長調出近一年半的資料外流審議紀錄,12 件中有 8 件遭駁回,平均等待時間高達 47 天。會議上有人說:「等資料等到專案都結束了。」
- 在資安網路內設置隔離伺服器,以最近兩年 1,800 萬筆交易訓練生成模型,再將詐欺標籤區段放大 30 倍,產出 60 萬筆合成交易。
- 資訊保護組朴組長將合成紀錄與原始資料逐筆比對最近距離,篩出與原始資料實質相同的 1,204 筆。他先訂下前提:「只要有一筆原樣流出,就等於外流」。
- 建模負責人李責任以實際 8 月的交易評估僅用合成資料訓練的模型,結果正確偵測率雖有提升,但誤判增加了 2.3 倍,因此改為混入 20% 實際資料的混合學習。
- 六個月後,新型手法的偵測率從 61% 提升至 78%;需要客戶確認的誤判電話從每天 340 通減至 190 通;停滯的外部合作也因合成資料得以輸出,三週內即恢復。
金鍾赫
Seong-il Kim