多模態
Multimodal AI
什麼是多模態?
- 文字 + 圖片、語音、影片一起處理
- 直接放入實務資料加以運用
- 支援大多數最新模型
多模態在實務上真正改變的,是'餵給 AI 之前的工作'。過去得先把掃描的合約打成文字,把儀表板的數字抄進表格,再把會議錄音逐字整理,才能開始用 AI。資料不加工、直接上傳,就能讓原本佔滿準備階段的人力整個空下來。因此導入評估的問題也從'這項工作 AI 做得到嗎?'變成'這份資料 AI 讀得懂嗎?'。
審視時,必須把輸入型多模態與輸出型多模態分開看。商用場景大多是輸入型:放入圖片、PDF、語音,回覆則是文字。產生圖片或語音的輸出型,通常是另外的模型,或計費方式不同。它與 OCR 的分工也不同:OCR 擅長連同座標精確擷取文字,多模態則擅長解讀這張表代表什麼意思。若是格式固定的文件有數百張,用 OCR 先擷取文字再輸入,成本與準確度通常都較好。圖片會依解析度計算 Token,因此若直接丟入高解析度截圖,費用會比預期高出許多。
現場最常出錯的地方,就是以為它「會像人一樣看」。它很會讀圖表的趨勢,但對刻度之間的數值只會推估作答;遇到大量合併儲存格的表格,還會把列與欄對錯。手寫的 1 和 7、圖面的尺寸標註線,也都是常見的出錯處。問題在於它不會說「不確定」,而是填入看似合理的數字,這樣直接放進報告,沒有人會察覺。請在提示詞中加入「讀不清楚就留白」的指示,並保留與原始數值比對的審核步驟。另外,整張截圖直接上傳時,常連客戶名稱或個人資料一起送出去,上傳前先遮蔽的習慣也要一併養成。
指同時處理文字、圖像等多種模態(modality)的概念,2021 年 OpenAI 推出 CLIP、DALL·E 等模型後迅速普及。
以下用一個假設案例來說明。A 公司是生產汽車零件的企業(全體員工 260 人,年營收 KRW 48,000,000,000 (≈ US$35,926,500)),現場點檢日誌仍然手寫。3 條產線每天約 40 張,每月近 900 張手寫點檢日誌,品管組兩名職員光是把它們打進 Excel 就得花每週 14 小時。不良品照片則在群組聊天室裡另外流傳,也和日誌對不起來。
- 品質團隊的金課長上個月把 30 張點檢日誌掃描後直接上傳,並要求「只把項目、數值、特殊事項整理成表格」。結果 27 張讀取成功,3 張因墨水暈開,數值變成空白。
- 為了不讓 AI 憑空填入空格,提示詞中加入了'無法辨識時一律標示為 [需確認]'這句話,結果無法判讀的項目原樣留在表格上,需要複查的對象從 30 張中縮小為 4 張。
- 不良品照片連同作業日誌一起上傳,讓 AI 判斷對應的項目。生產組朴組長表示:'不用再由人手打照片說明,這點最有幫助。'
- 在尺寸標註線重疊的圖面截圖中,曾兩度把 12.5mm 誤讀成 1.25mm,因此我們明訂規則:圖面不交給多模態處理,改為直接附上既有的 CAD 數值。
- 3 個月後,點檢日誌的填寫時間從每週 14 小時降為 3 小時,照片與日誌連在一起後,找出不良原因的會議準備時間也從 2 小時縮短為 1 小時。
金鍾赫
Seong-il Kim