知識 · AI基礎

トランスフォーマー

Transformer

📂AI基礎⏱読了2分📊応用🔗関連 4

トランスフォーマーとは?

一行定義
文中のすべての単語の関係を一度に把握する「アテンション」方式のニューラルネットワーク構造。今日の生成AIの基盤。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • すべての単語の関係を一度に把握
  • アテンションベースの構造
  • 現代の生成AIの基盤

最も大きく変わったのは学習の経済性です。従来の構造では前の単語の計算が終わってから次の単語に進めたため、GPUをいくら挿しても、速度は「順序」に縛られていました。トランスフォーマーはこの順序の制約を断ち切り、同じ時間に数百倍多くの文を流し込む学習を可能にしました。その結果、モデルの大きさやデータ量を増やすと性能も上がるという規模の法則(スケーリング則)が実験で確認されました。今日のAI競争が「どちらがより大きな計算量を賄えるか」へと向かう理由がここにあります。

構造は大きくエンコーダーとデコーダーに分かれます。文章を読んで意味を圧縮する側がエンコーダー、次のトークンを一つずつ作り出す側がデコーダーです。検索や分類に使われるBERT系はエンコーダーだけを使い、GPTやClaudeのような生成モデルはデコーダーだけを取り出して何層も重ねた形です。また、トランスフォーマーは言語専用ではなく、画像を小片に分けてトークンのように扱うViTや音声認識モデルも同じ骨組みを使います。'トランスフォーマー=チャットボット'ではなく、系列を扱う汎用の設計だと押さえておくと、導入の議論がずっと進めやすくなります。

欠点も明らかです。すべての単語ペアの関係を計算するため、計算量はトークン数の2乗で増え、入力を2倍にするとアテンションの計算コストはおよそ4倍に跳ね上がります。コンテキストウィンドウが数十万トークンまで広がった今でも、長い文書をまるごと押し込む方式が常に安くて正確とは限らないのはこのためです。そこで実務では、必要な箇所だけを探して入れるRAGや文書分割を併用します。

現場で最もよくずれるポイントは、「ウィンドウが大きければ全部読める」という思い込みです。長い入力では前後は残るものの中間がぼやける現象が知られており、200ページの契約書を貼り付けて不利な条項を抜き出してほしいと頼むと、途中に埋もれた違約条項がまるごと抜け落ちた要約が出てきます。レビュー担当者がそれを「レビュー完了」として上げると、事故は会議室ではなく契約が終わった後に起こります。長さは収めきれる上限であって、読んだことの保証ではない。この一行を社内ガイドの冒頭に書いておかれることをお勧めします。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
文中のすべての単語を同時に見渡して関係を捉える構造。今日ほぼすべてのLLMの骨組みです。
実務でなぜ重要なのか
なぜ2020年代に入ってAIが急に賢くなったのか。その技術的な転換点がまさにトランスフォーマーです。
由来と出典

2017年にGoogleの研究者(ヴァスワニら)が論文「Attention Is All You Need」で提示しました。再帰や畳み込みを使わず、アテンションだけで系列を処理するという発想が、その後ほぼすべての大規模AIモデルの土台となりました。

出典 · Vaswani et al., 「Attention Is All You Need」(2017, Google) · 原文を見る
事例で理解する

仮想の事例で見てみましょう。国内で産業用バルブを製造するA社は、役職員320名、年間売上高890億ウォン(約1,064,351万円)規模です。海外営業チームは1日140件ずつ届く英文の見積もり問い合わせを翻訳機で処理してきましたが、lead timeを「リード線」と訳すような誤訳が月22件ずつ繰り返されていました。2024年下半期、チーム長の提案で8週間の社内AI活用研修が始まりました。

  1. 海外営業チームのキム・チーム長は初回の授業で、誤訳メール12件を画面に映し、「なぜ機械は同じ単語を毎回違う訳し方をするのか」と問いかけました。
  2. 講師は同じ見積書を2つのツールに入れて、文全体を一度に読むか、先頭から単語を一つずつ読むかによって結果がどう変わるかを並べて見せました。
  3. 3週目に品質チームのイ課長が40ページの仕様書をまるごと貼り付けたところ、途中の15ページ分にあたる温度条件が抜けた要約が出てきて、チームはコンテキストの限界を目で確かめました。
  4. その後、仕様書を条項単位に分けて質問する社内ルールを作り、金額・納期・数量の3項目は担当者が原文と直接照合する二重確認を加えました。
  5. 8週間後、見積もりの誤訳は月22件から3件に減り、問い合わせ1件あたりの平均対応時間も34分から12分に短くなりました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

トランスフォーマーは'構造'、LLMはその構造で作った'大規模言語モデル'です。LLMはトランスフォーマーの上に築かれます。
文中のどの単語が互いに関連しているかを把握し、文脈を理解させる中核の仕組みだからです。
トランスフォーマーは'構造'、LLMはその構造で作った大規模言語モデルです。
文中のすべての単語の関係を一度に捉え、長い文脈の理解と並列学習を可能にするからです。