文字轉影片
Text-to-Video
什麼是文字轉影片?
- 僅用文字就能生成影片的 AI
- 擴散模型延伸到時間軸上(動態與一致性是關鍵)
- 大幅降低廣告、教育與短影音的製作成本
文字轉影片真正改變的是製作的順序。以前得先寫企劃書、取得預算核准、排定拍攝日,才能看到第一個畫面;現在則是先做出樣稿再開會。原本行銷主管要靠口頭說服「我們想要這種感覺」的位置,如今會直接放出三支 15 秒的候選影片。即使丟掉也不心疼的畫面可以大量製作,這是最大的改變。
用途大致分為三類。只用文字生成場景的純文字轉影片;放入一張產品照片、只為它加上動作的圖片轉影片;只改變既有影片氛圍的影片轉影片。實務上失敗率最低的是以實際產品照片為基準的圖片轉影片。商用工具大多一次生成 5~10 秒,所以 30 秒的影片要把三、四個鏡頭接起來製作。與讓臉部合成照稿唸出的 AI 虛擬人 服務目的不同,因此必須區分製作場景的工具與製作說話者的工具,再下單發包。
成本結構也不同。多數採用點數計費,一個 5 秒片段只要數百至數千韓元的等級,但要挑出一個可用的畫面,通常得重新生成五到十次。因此實際成本不在生成費,而在修改提示詞與挑選畫面的負責人時間。過去外包一支要花數百萬韓元的工作,會縮短為一天的作業;但若沒有先決定那一天由誰來用,它就會變成只是付了費、卻沒人動手的工具。
現場最常破滅的期待是「只要一句提示詞就能得到成品」。實際上,每個鏡頭的模特兒臉孔與衣服顏色都會改變,畫面中放入的中文字幕也會模糊不清。文字最好不要交給影片本身處理,而是在剪輯階段再加上,比較安全。更危險的是用 AI 繪製實際在販售的產品:把把手形狀或按鈕數量畫得與實物不同,可能會演變成標示廣告問題,因此必須事先訂定放在銷售頁面的影片要混入實物拍攝畫面的原則。
這項技術源自將圖像生成用的擴散模型延伸到時間軸的研究,2024 年多款高品質影片生成模型陸續公開,大眾關注度因此爆發性成長。
以下以虛構案例說明。這是一家約 260 名員工規模、在網路上販售生活家電的 A 公司的故事。自家商城的短影音每週需上傳 3 支,但外包製作費每支 KRW 1,800,000 (≈ US$1,350),確認樣稿也要 2 週,因此每次新品上市,影片都會延誤。最後行銷團隊 4 人決定自己動手試做。
- 電商團隊金副理檢視了過去 6 個月的 27 支短影音,發現觀看數前幾名的畫面都是產品特寫,但光是背景畫面的製作,每支就要花 KRW 600,000 (≈ US$450)。
- 依照'只用 AI 處理背景'的結論,承辦副理放入產品照片,用圖片轉影片生成 5 秒片段。第一週跑了 40 次,才挑出 6 支可用的片段。
- 每個鏡頭的模特兒臉孔都不一樣的問題反覆出現,於是團隊在內部文件中訂定角色分工標準:有人出現的畫面使用既有的實拍素材,AI 只負責物件與背景。
- 法務審查指出'與實物不同的把手不能使用',因此畫面中產品以大特寫呈現的鏡頭只用實拍,銷售頁面用的影片由組長做最終確認,並加入這道流程。
- 3 個月後,每支製作費從 KRW 1,800,000 (≈ US$1,350) 降到 KRW 520,000 (≈ US$390),從企劃到上架的時間由 2 週縮短為 3 天,每週短影音發布量從 3 支增加到 7 支。
金鍾赫
Seung-tae Park