マルチモーダル
Multimodal AI
マルチモーダルとは?
- テキスト+画像・音声・動画を同時に処理
- 実務資料をそのまま入れて活用
- 最新モデルのほとんどが対応
マルチモーダルが実務で実際に変えるのは「AIに入れる前の作業」です。以前はスキャンした契約書を打ち込み、ダッシュボードの数字を表に写し、会議の録音を書き起こしてから、ようやくAIを使えました。資料を加工せずそのまま入れられるだけで、準備段階に取られていた人の手がまるごと省けます。だから導入検討の問いも「この業務をAIができるか」から「この資料をAIが読めるか」へ変わります。
検討する際は入力のマルチモーダルと出力のマルチモーダルを分けて見る必要があります。業務用途はほとんどが入力側です。画像・PDF・音声を入れて答えはテキストで受け取る形で、画像や音声を作り出す出力側は別のモデルであったり料金体系が違うことが多いです。OCRとも役割が分かれます。OCRは文字を座標ごと正確に抜き出すのが得意で、マルチモーダルはこの表が何を意味するかを解釈するのが得意です。書式が決まった書類が数百枚あるなら、OCRでテキストを抜き出して入れるほうが費用も精度も良くなります。画像は解像度に応じてトークンが付くため、高解像度のキャプチャをそのまま入れると想定より料金が大きく上がります。
現場で最も食い違いが起きやすいのは、「人間のように見ている」と思い込むことです。グラフの傾向はよく読み取れますが、目盛りの間の値は推測で答え、結合セルが多い表では行と列を取り違えます。手書きの1と7、図面の寸法線も定番の事故ポイントです。問題は、「分からない」と言う代わりにもっともらしい数字で埋めてしまうことで、そのまま報告書に載ると誰も気づけません。プロンプトに「読み取れない場合は空欄のままにせよ」という指示を入れ、原本の数値と照合する検収の一段階を必ず残す必要があります。画面キャプチャをそのまま丸ごとアップロードし、顧客企業名や個人情報が一緒に渡ってしまうことも多いので、アップロード前に隠す習慣も一緒に身につけるべきです。
テキストや画像など複数のモダリティ(modality)を一緒に扱うという概念で、2021年のOpenAIのCLIPやDALL·Eなどをきっかけに急速に広がりました。
仮の事例で見てみましょう。自動車部品を作るA社(役職員260名、年売上480億ウォン(約574,032万円))は、現場の点検日誌をまだ手書きしています。3ラインで1日40枚、月900枚近い手書きの点検日誌が出ますが、品質チームの社員2名がExcelに移すだけで週14時間を使っています。不良写真はグループチャットで別々に出回り、日誌とも結びついていません。
- 品質チームのキム課長が先月の点検日誌30枚をスキャンしてそのまま載せ、「項目・数値・特記事項だけ表にまとめて」と頼んだところ、27枚は読み取れましたが、3枚はインクのにじみで数値が空欄になりました。
- 空欄を作り話で埋めないよう、「読み取れない場合は必ず[確認必要]と表記せよ」という一文をプロンプトに入れたところ、判読できない項目は表にそのまま残り、検収の対象が30枚中4件に絞られました。
- 不良写真を日誌と一緒に入れて、関連する項目を判断させたところ、生産チームのパク・チーム長は「写真の説明を人が打ち込まなくて済むのが一番大きい」と言いました。
- 寸法線が重なった図面のキャプチャで、12.5mmを1.25mmと読み違える誤りが二度出たため、図面だけはマルチモーダルに任せず、既存のCAD数値を添付するルールを明文化しました。
- 3か月後、点検日誌の入力時間は週14時間から3時間へ減り、写真と日誌が結びついたことで、不良原因の会議準備も2時間から1時間に短くなりました。
金鍾赫
キム・ソンイル