📂AI 基礎⏱読了2分📊入門🔗関連 4

マルチモーダルとは?

一行定義
テキストだけでなく、画像・音声・動画など複数の形式(モダリティ)の情報を一緒に理解し、生成するAI。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • テキスト+画像・音声・動画を同時に処理
  • 実務資料をそのまま入れて活用
  • 最新モデルのほとんどが対応

マルチモーダルが実務で実際に変えるのは「AIに入れる前の作業」です。以前はスキャンした契約書を打ち込み、ダッシュボードの数字を表に写し、会議の録音を書き起こしてから、ようやくAIを使えました。資料を加工せずそのまま入れられるだけで、準備段階に取られていた人の手がまるごと省けます。だから導入検討の問いも「この業務をAIができるか」から「この資料をAIが読めるか」へ変わります。

検討する際は入力のマルチモーダルと出力のマルチモーダルを分けて見る必要があります。業務用途はほとんどが入力側です。画像・PDF・音声を入れて答えはテキストで受け取る形で、画像や音声を作り出す出力側は別のモデルであったり料金体系が違うことが多いです。OCRとも役割が分かれます。OCRは文字を座標ごと正確に抜き出すのが得意で、マルチモーダルはこの表が何を意味するかを解釈するのが得意です。書式が決まった書類が数百枚あるなら、OCRでテキストを抜き出して入れるほうが費用も精度も良くなります。画像は解像度に応じてトークンが付くため、高解像度のキャプチャをそのまま入れると想定より料金が大きく上がります。

現場で最も食い違いが起きやすいのは、「人間のように見ている」と思い込むことです。グラフの傾向はよく読み取れますが、目盛りの間の値は推測で答え、結合セルが多い表では行と列を取り違えます。手書きの1と7、図面の寸法線も定番の事故ポイントです。問題は、「分からない」と言う代わりにもっともらしい数字で埋めてしまうことで、そのまま報告書に載ると誰も気づけません。プロンプトに「読み取れない場合は空欄のままにせよ」という指示を入れ、原本の数値と照合する検収の一段階を必ず残す必要があります。画面キャプチャをそのまま丸ごとアップロードし、顧客企業名や個人情報が一緒に渡ってしまうことも多いので、アップロード前に隠す習慣も一緒に身につけるべきです。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
文字だけを読んでいたAIが、今では見て・聞くことまで — 写真・画面・音声をそのまま理解します。
実務でなぜ重要なのか
業務資料は文字だけでできているわけではないため、マルチモーダルは、AIを「本当の実務」で使えるようにする鍵です。
由来と出典

テキストや画像など複数のモダリティ(modality)を一緒に扱うという概念で、2021年のOpenAIのCLIPやDALL·Eなどをきっかけに急速に広がりました。

事例で理解する

仮の事例で見てみましょう。自動車部品を作るA社(役職員260名、年売上480億ウォン(約574,032万円))は、現場の点検日誌をまだ手書きしています。3ラインで1日40枚、月900枚近い手書きの点検日誌が出ますが、品質チームの社員2名がExcelに移すだけで週14時間を使っています。不良写真はグループチャットで別々に出回り、日誌とも結びついていません。

  1. 品質チームのキム課長が先月の点検日誌30枚をスキャンしてそのまま載せ、「項目・数値・特記事項だけ表にまとめて」と頼んだところ、27枚は読み取れましたが、3枚はインクのにじみで数値が空欄になりました。
  2. 空欄を作り話で埋めないよう、「読み取れない場合は必ず[確認必要]と表記せよ」という一文をプロンプトに入れたところ、判読できない項目は表にそのまま残り、検収の対象が30枚中4件に絞られました。
  3. 不良写真を日誌と一緒に入れて、関連する項目を判断させたところ、生産チームのパク・チーム長は「写真の説明を人が打ち込まなくて済むのが一番大きい」と言いました。
  4. 寸法線が重なった図面のキャプチャで、12.5mmを1.25mmと読み違える誤りが二度出たため、図面だけはマルチモーダルに任せず、既存のCAD数値を添付するルールを明文化しました。
  5. 3か月後、点検日誌の入力時間は週14時間から3時間へ減り、写真と日誌が結びついたことで、不良原因の会議準備も2時間から1時間に短くなりました。
関連用語
関連AIツール
この用語に関連する研修
📚ChatGPT、AIツール教育ナヌム経営コンサルティング 企業研修 · 対面/オンライン研修を見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

モデルによります。画像を「理解」だけするモデルと、「生成」まで行うモデルがあります。
スキャンした文書・キャプチャ・図表をそのまま入れて分析できるため、テキストに書き起こす手間がなくなります。
理解と生成は別物です。マルチモーダルは「画像の理解」を担い、画像の生成は別のモデル(拡散モデル)が行います。
スキャン文書・画面キャプチャ・動画会議の資料をそのまま入れて使えるため、活用の幅が大きく広がります。