知識 · AI基礎

アテンション機構

Attention Mechanism

📂AI基礎⏱読了2分📊応用🔗関連3

アテンション機構とは?

一行定義
入力の複数の部分のうち「今重要な箇所」により注目させるニューラルネットワーク技術。トランスフォーマーと現代LLMの心臓部。
このテーマを社内研修で📚 関連研修💬 研修のお問い合わせ
⚡ 3行要約
  • '今この重要な箇所'に集中する手法
  • 離れた単語どうしの関係も捉える
  • トランスフォーマー・LLMの心臓部

アテンションが実際に変えたのは「距離」の問題です。従来の構造では、文全体を固定長のベクトル1つに詰め込み、それだけを見て次の単語を予測していたため、前の方の情報は後ろに行くほど薄れていきました。アテンションは、すべてのトークンが他のすべてのトークンを直接参照できるようにし、50番目の単語と1番目の単語の距離を、隣の単語と同じように扱います。その結果、要約ベクトルというボトルネックがなくなり、学習も順番を待たずに一度に回せるようになりました。

実務では3つの系統を区別しておくと便利です。同じ文の中で互いを参照するセルフアテンション、質問と参考文書のように別の二つのまとまりを結ぶクロスアテンション、そして同じ計算を複数の経路に分け、文法・指示対象・主題をそれぞれ担当させるマルチヘッドアテンションです。代償は計算量が入力の長さの二乗で増えることです。トークンが2倍になるとアテンションの計算は4倍になるため、コンテキスト32Kのものと128Kのものでは料金も応答速度も大きく異なります。長いウィンドウを使うほどコスト曲線は急になるという事実が、プロンプト設計の出発点です。

現場で最もずれやすいのは、「ウィンドウが大きいのだから資料を全部入れれば自動的に読んでくれる」という考えです。アテンションは限られた重みを配分する仕組みなので、入れる文書が増えるほど、肝心な文が受け取る取り分は減ります。長い入力の真ん中に置かれた情報が、前後より反映されにくいという現象も繰り返し報告されています。参考資料は量ではなく選別の問題です。もう一つ、アテンションの重みが高いからといって、それがモデルの判断根拠だという意味ではありません。アテンションマップを撮って「モデルはこの条項を見て答えた」と監査報告書に添付すると、後で根拠のない説明を提出したことになります。

この用語が登場する研修 · AI・DX
おすすめ研修 · おすすめ講師 · 簡易見積もり
🧮 ミニ見積もり・講師料の基準
約120万ウォン(約14万円)特別講義 2時間 · 20名以下 · 韓国語
この条件で正式な見積もりを依頼 →
💡 かんたんに言うと
長い文章で核心の単語に蛍光ペンを引くこと — 何に集中するかを自分で決めます。
実務でなぜ重要なのか
アテンションは'何に集中するか'を学習させ、長い文脈の理解と大規模な並列学習を可能にしました。
由来と出典

グーグル研究チームの論文「Attention Is All You Need」(2017)で、セルフアテンションに基づくトランスフォーマーが提案され、現代のLLMの基盤となりました。

出典 · Vaswani et al., 「Attention Is All You Need」(2017) · 原文を見る
事例で理解する

仮想の事例で見てみましょう。自動車部品を製造するA社(役職員1,180名、年売上4,200億ウォン(約5,022,782万円))は、品質マニュアルと顧客の仕様書をまとめて社内Q&Aチャットボットを開設しました。開設から3週間で、品質保証チームから「同じことを聞いても答えが毎回違う」という苦情が上がってきました。原因を突き止めるのに6週間かかりました。

  1. AI TFを担当するキム次長は、仕様書320ページをまるごとプロンプトに貼り付けていました。全部入れればモデルが勝手に重要な部分を見分けるというのが、チームの前提でした。
  2. 品質保証チームの李課長が30問を直接試したところ、文書の前20ページと後ろ15ページに関する条件には正確に答えたものの、150ページ付近の熱処理の許容誤差は3回中2回間違えました。
  3. 外部のアドバイザーとして入ったデータエンジニアの朴責任者が、「モデルが怠けているのではなく、注意が散っていたのだ」と指摘し、仕様書を条項単位の40のまとまりに分けることを提案しました。
  4. 質問を受ける際に、適用工程と顧客企業名を必須入力にし、検索で関連条項の上位5件だけを入れるように変えました。平均入力トークンは18万から9千に減りました。
  5. 1か月後に同じ30問を再測定したところ、正答率は61%から92%に上がり、平均応答時間は14秒から3秒に短縮、月間APIコストは780万ウォン(約93万円)から120万ウォン(約14万円)になりました。
関連用語
この用語に関連する研修
📚エージェントAI実務入門ナヌム経営コンサルティング 企業研修 · 対面/オンラインコースを見る →
このテーマで社内研修が必要でしょうか?
ご担当者さま向けの研修プログラム・お見積もりを、すぐにご覧いただけます。
研修のお問い合わせ
最終更新 2026-09-13 · 監修 金鍾赫

よくある質問

一文の中で単語どうしがどれだけ関連しているかを計算するアテンションです。トランスフォーマーの核心です。
長い文脈をうまく捉え、並列処理も可能にしたことで、大規模言語モデル学習の扉を開きました。
一文の中で単語どうしがどれだけ関連しているかを計算するアテンションです。
長い文脈をうまく捉え、並列処理も可能にして、大規模言語モデル学習の扉を開きました。