擴散模型
Diffusion Model
什麼是擴散模型?
- 去除雜訊來生成圖像
- 雜訊→圖像
- 最新圖像生成的主流
擴散模型真正改變的,是圖像從「找來用的素材」變成「需要時再生成的素材」。過去得翻找圖庫或安排攝影棚行程,現在初稿階段的成本結構整個翻轉。單張圖的生成成本幾乎收斂為運算時間,實務團隊的工作不再是挑出一張好圖,而是先產出數十張再篩選。
實務上需要區分直接處理像素的方式,與在潛在空間(latent)中運作的方式。Stable Diffusion 系列是在壓縮後的潛在空間中去除雜訊,因此能以少得多的運算量達到相同品質。早期模型需要經過 1,000 個步驟,但現在的取樣器只要 20~50 個步驟就能產出一張圖,若使用蒸餾技術,甚至能降到 1~4 個步驟。與 GAN 的界線也很清楚:GAN 一次生成,速度快,但訓練不穩定,結果容易偏向一側;擴散模型雖然步驟較多,但在多樣性與可控性上更勝一籌。種子值、ControlNet 等條件輸入,以及 LoRA 這類小規模追加訓練,就是這些控制手段。
現場最常出錯的地方,是「只要把提示詞寫好就行」的誤解。同一句提示詞,若種子值或模型版本不同,就會生成不同的圖;如果沒有把設定記錄下來,三個月後就無法重現同樣調性的後續照片。用生成物取代產品照片也很危險。若 logo 文字糊掉、把手數量畫錯的圖片被放上商品詳細頁,就會招來標示廣告爭議與退貨。生成圖應劃清界線,定位為企劃草稿、背景與輔助照片,而非實拍的替代品,並指定最終審核負責人,會比較安全。
2015 年由 Sohl-Dickstein 等人的研究提出,2020 年經 DDPM 論文實用化後,成為 DALL·E、Midjourney 等圖像生成 AI 的基礎。
以下以虛構案例說明。A 公司是在網路上販售生活家電的企業,全體員工 140 人,年營收約 KRW 90,000,000,000 (≈ US$67,362,200)。每月需製作 30 多款新品的商品詳細頁,若將一張背景照外包拍攝,每張 KRW 600,000 (≈ US$450)、需時 2 週。上半年新品上架延後了 3 週,行銷本部長於是指示:「除了實拍,也來看看其他的路。」
- 數位行銷主管統計了去年一整年的商品詳情頁,共 1,280 張,發現其中一半是沒有產品、只展示氛圍的背景與情境照。
- 決定只將其中一半改由生成處理,並以自家實拍照 300 張進行 LoRA 小規模訓練以統一色調,於 6 月試營運一個月。
- 首次審核時,商品企劃組的課長指出「冰箱把手看起來有兩個」,因此正式確立了含有產品的照片僅限使用實拍的規則。
- 設計師 2 人訂定了將模型版本、提示詞與種子值三項保存 6 個月的可重現紀錄原則,並以試算表管理。
- 三個月後,背景照片的前置時間由 2 週縮短為 1 天;每月外包費 KRW 18,000,000 (≈ US$13,500) 中節省了 KRW 7,000,000 (≈ US$5,240),新品上架延遲也由 3 週縮短為 2 天。
金鍾赫
Seung-tae Park