アテンション機構
Attention Mechanism
アテンション機構とは?
- '今この重要な箇所'に集中する手法
- 離れた単語どうしの関係も捉える
- トランスフォーマー・LLMの心臓部
アテンションが実際に変えたのは「距離」の問題です。従来の構造では、文全体を固定長のベクトル1つに詰め込み、それだけを見て次の単語を予測していたため、前の方の情報は後ろに行くほど薄れていきました。アテンションは、すべてのトークンが他のすべてのトークンを直接参照できるようにし、50番目の単語と1番目の単語の距離を、隣の単語と同じように扱います。その結果、要約ベクトルというボトルネックがなくなり、学習も順番を待たずに一度に回せるようになりました。
実務では3つの系統を区別しておくと便利です。同じ文の中で互いを参照するセルフアテンション、質問と参考文書のように別の二つのまとまりを結ぶクロスアテンション、そして同じ計算を複数の経路に分け、文法・指示対象・主題をそれぞれ担当させるマルチヘッドアテンションです。代償は計算量が入力の長さの二乗で増えることです。トークンが2倍になるとアテンションの計算は4倍になるため、コンテキスト32Kのものと128Kのものでは料金も応答速度も大きく異なります。長いウィンドウを使うほどコスト曲線は急になるという事実が、プロンプト設計の出発点です。
現場で最もずれやすいのは、「ウィンドウが大きいのだから資料を全部入れれば自動的に読んでくれる」という考えです。アテンションは限られた重みを配分する仕組みなので、入れる文書が増えるほど、肝心な文が受け取る取り分は減ります。長い入力の真ん中に置かれた情報が、前後より反映されにくいという現象も繰り返し報告されています。参考資料は量ではなく選別の問題です。もう一つ、アテンションの重みが高いからといって、それがモデルの判断根拠だという意味ではありません。アテンションマップを撮って「モデルはこの条項を見て答えた」と監査報告書に添付すると、後で根拠のない説明を提出したことになります。
グーグル研究チームの論文「Attention Is All You Need」(2017)で、セルフアテンションに基づくトランスフォーマーが提案され、現代のLLMの基盤となりました。
仮想の事例で見てみましょう。自動車部品を製造するA社(役職員1,180名、年売上4,200億ウォン(約5,022,782万円))は、品質マニュアルと顧客の仕様書をまとめて社内Q&Aチャットボットを開設しました。開設から3週間で、品質保証チームから「同じことを聞いても答えが毎回違う」という苦情が上がってきました。原因を突き止めるのに6週間かかりました。
- AI TFを担当するキム次長は、仕様書320ページをまるごとプロンプトに貼り付けていました。全部入れればモデルが勝手に重要な部分を見分けるというのが、チームの前提でした。
- 品質保証チームの李課長が30問を直接試したところ、文書の前20ページと後ろ15ページに関する条件には正確に答えたものの、150ページ付近の熱処理の許容誤差は3回中2回間違えました。
- 外部のアドバイザーとして入ったデータエンジニアの朴責任者が、「モデルが怠けているのではなく、注意が散っていたのだ」と指摘し、仕様書を条項単位の40のまとまりに分けることを提案しました。
- 質問を受ける際に、適用工程と顧客企業名を必須入力にし、検索で関連条項の上位5件だけを入れるように変えました。平均入力トークンは18万から9千に減りました。
- 1か月後に同じ30問を再測定したところ、正答率は61%から92%に上がり、平均応答時間は14秒から3秒に短縮、月間APIコストは780万ウォン(約93万円)から120万ウォン(約14万円)になりました。
金鍾赫
キム・ソンイル