トランスフォーマー
Transformer
トランスフォーマーとは?
- すべての単語の関係を一度に把握
- アテンションベースの構造
- 現代の生成AIの基盤
最も大きく変わったのは学習の経済性です。従来の構造では前の単語の計算が終わってから次の単語に進めたため、GPUをいくら挿しても、速度は「順序」に縛られていました。トランスフォーマーはこの順序の制約を断ち切り、同じ時間に数百倍多くの文を流し込む学習を可能にしました。その結果、モデルの大きさやデータ量を増やすと性能も上がるという規模の法則(スケーリング則)が実験で確認されました。今日のAI競争が「どちらがより大きな計算量を賄えるか」へと向かう理由がここにあります。
構造は大きくエンコーダーとデコーダーに分かれます。文章を読んで意味を圧縮する側がエンコーダー、次のトークンを一つずつ作り出す側がデコーダーです。検索や分類に使われるBERT系はエンコーダーだけを使い、GPTやClaudeのような生成モデルはデコーダーだけを取り出して何層も重ねた形です。また、トランスフォーマーは言語専用ではなく、画像を小片に分けてトークンのように扱うViTや音声認識モデルも同じ骨組みを使います。'トランスフォーマー=チャットボット'ではなく、系列を扱う汎用の設計だと押さえておくと、導入の議論がずっと進めやすくなります。
欠点も明らかです。すべての単語ペアの関係を計算するため、計算量はトークン数の2乗で増え、入力を2倍にするとアテンションの計算コストはおよそ4倍に跳ね上がります。コンテキストウィンドウが数十万トークンまで広がった今でも、長い文書をまるごと押し込む方式が常に安くて正確とは限らないのはこのためです。そこで実務では、必要な箇所だけを探して入れるRAGや文書分割を併用します。
現場で最もよくずれるポイントは、「ウィンドウが大きければ全部読める」という思い込みです。長い入力では前後は残るものの中間がぼやける現象が知られており、200ページの契約書を貼り付けて不利な条項を抜き出してほしいと頼むと、途中に埋もれた違約条項がまるごと抜け落ちた要約が出てきます。レビュー担当者がそれを「レビュー完了」として上げると、事故は会議室ではなく契約が終わった後に起こります。長さは収めきれる上限であって、読んだことの保証ではない。この一行を社内ガイドの冒頭に書いておかれることをお勧めします。
2017年にGoogleの研究者(ヴァスワニら)が論文「Attention Is All You Need」で提示しました。再帰や畳み込みを使わず、アテンションだけで系列を処理するという発想が、その後ほぼすべての大規模AIモデルの土台となりました。
仮想の事例で見てみましょう。国内で産業用バルブを製造するA社は、役職員320名、年間売上高890億ウォン(約1,064,351万円)規模です。海外営業チームは1日140件ずつ届く英文の見積もり問い合わせを翻訳機で処理してきましたが、lead timeを「リード線」と訳すような誤訳が月22件ずつ繰り返されていました。2024年下半期、チーム長の提案で8週間の社内AI活用研修が始まりました。
- 海外営業チームのキム・チーム長は初回の授業で、誤訳メール12件を画面に映し、「なぜ機械は同じ単語を毎回違う訳し方をするのか」と問いかけました。
- 講師は同じ見積書を2つのツールに入れて、文全体を一度に読むか、先頭から単語を一つずつ読むかによって結果がどう変わるかを並べて見せました。
- 3週目に品質チームのイ課長が40ページの仕様書をまるごと貼り付けたところ、途中の15ページ分にあたる温度条件が抜けた要約が出てきて、チームはコンテキストの限界を目で確かめました。
- その後、仕様書を条項単位に分けて質問する社内ルールを作り、金額・納期・数量の3項目は担当者が原文と直接照合する二重確認を加えました。
- 8週間後、見積もりの誤訳は月22件から3件に減り、問い合わせ1件あたりの平均対応時間も34分から12分に短くなりました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン