📂AI 基礎⏱閱讀 2 分鐘📊入門🔗相關 4

什麼是多模態?

一句話定義
不只文字,還能同時理解與生成圖片、語音、影片等多種形式(模態)資訊的 AI。
這個主題,想做成企業內訓?📚 相關課程💬 教育諮詢
⚡ 3 行重點摘要
  • 文字 + 圖片、語音、影片一起處理
  • 直接放入實務資料加以運用
  • 支援大多數最新模型

多模態在實務上真正改變的,是'餵給 AI 之前的工作'。過去得先把掃描的合約打成文字,把儀表板的數字抄進表格,再把會議錄音逐字整理,才能開始用 AI。資料不加工、直接上傳,就能讓原本佔滿準備階段的人力整個空下來。因此導入評估的問題也從'這項工作 AI 做得到嗎?'變成'這份資料 AI 讀得懂嗎?'。

審視時,必須把輸入型多模態與輸出型多模態分開看。商用場景大多是輸入型:放入圖片、PDF、語音,回覆則是文字。產生圖片或語音的輸出型,通常是另外的模型,或計費方式不同。它與 OCR 的分工也不同:OCR 擅長連同座標精確擷取文字,多模態則擅長解讀這張表代表什麼意思。若是格式固定的文件有數百張,用 OCR 先擷取文字再輸入,成本與準確度通常都較好。圖片會依解析度計算 Token,因此若直接丟入高解析度截圖,費用會比預期高出許多。

現場最常出錯的地方,就是以為它「會像人一樣看」。它很會讀圖表的趨勢,但對刻度之間的數值只會推估作答;遇到大量合併儲存格的表格,還會把列與欄對錯。手寫的 1 和 7、圖面的尺寸標註線,也都是常見的出錯處。問題在於它不會說「不確定」,而是填入看似合理的數字,這樣直接放進報告,沒有人會察覺。請在提示詞中加入「讀不清楚就留白」的指示,並保留與原始數值比對的審核步驟。另外,整張截圖直接上傳時,常連客戶名稱或個人資料一起送出去,上傳前先遮蔽的習慣也要一併養成。

會出現此術語的課程 · AI・DX
推薦課程 · 推薦講師 · 迷你報價
🧮 迷你報價 · 講師費基準
約 KRW 1,200,000 (≈ US$900)專題講座 2 小時 · 20 人以下 · 韓語
依此條件取得正式報價 →
💡 簡單來說
過去只能讀文字的 AI,如今也能看、能聽——照片、畫面、語音都能直接理解。
為什麼在實務上很重要
工作資料往往不只是文字,因此多模態是讓 AI 真正用在「實際業務」上的關鍵。
由來與出處

指同時處理文字、圖像等多種模態(modality)的概念,2021 年 OpenAI 推出 CLIP、DALL·E 等模型後迅速普及。

透過案例理解

以下用一個假設案例來說明。A 公司是生產汽車零件的企業(全體員工 260 人,年營收 KRW 48,000,000,000 (≈ US$35,926,500)),現場點檢日誌仍然手寫。3 條產線每天約 40 張,每月近 900 張手寫點檢日誌,品管組兩名職員光是把它們打進 Excel 就得花每週 14 小時。不良品照片則在群組聊天室裡另外流傳,也和日誌對不起來。

  1. 品質團隊的金課長上個月把 30 張點檢日誌掃描後直接上傳,並要求「只把項目、數值、特殊事項整理成表格」。結果 27 張讀取成功,3 張因墨水暈開,數值變成空白。
  2. 為了不讓 AI 憑空填入空格,提示詞中加入了'無法辨識時一律標示為 [需確認]'這句話,結果無法判讀的項目原樣留在表格上,需要複查的對象從 30 張中縮小為 4 張。
  3. 不良品照片連同作業日誌一起上傳,讓 AI 判斷對應的項目。生產組朴組長表示:'不用再由人手打照片說明,這點最有幫助。'
  4. 在尺寸標註線重疊的圖面截圖中,曾兩度把 12.5mm 誤讀成 1.25mm,因此我們明訂規則:圖面不交給多模態處理,改為直接附上既有的 CAD 數值。
  5. 3 個月後,點檢日誌的填寫時間從每週 14 小時降為 3 小時,照片與日誌連在一起後,找出不良原因的會議準備時間也從 2 小時縮短為 1 小時。
相關術語
相關 AI 工具
與此術語相關的課程
📚ChatGPT、AI 工具教育Nanum 經營顧問 企業內訓 · 面授/線上查看課程 →
是否需要針對此主題進行企業內訓?
立即取得負責人為您量身打造的課程規劃與報價。
教育洽詢
最後修訂 2026年9月13日 · 監修 金鍾赫

常見問題

視模型而定。有些模型只能'理解'圖片,有些則連'生成'也能做。
掃描文件、截圖、圖表可以直接放進去分析,省去轉成文字的功夫。
理解與生成是不同的。多模態做的是'理解圖片',生成則由另外的模型(擴散模型)負責。
掃描文件、螢幕截圖、視訊會議資料都能直接放進去使用,應用範圍會大幅擴大。