コンテキストエンジニアリング
Context Engineering
コンテキストエンジニアリングとは?
- LLMに渡す'文脈'を設計・供給
- プロンプトを超えて、どんな情報をどう与えるか
- RAG・エージェントの品質を左右
コンテキストエンジニアリングが入ると、'AIが答えられない'という問題の見方が変わります。以前は質問文を磨いていましたが、今はモデルの前に置かれた情報の流れ——どの文書が検索され、どこで切れ、以前の会話が何を押し出したのか——を調べます。誤った答えの原因は多くの場合モデルではなく、与えられた材料にあり、そのため担当者の仕事は文章の磨き込みから情報パイプラインの設計へと移っていきます。
構成要素は通常4つの層です。システム指示、検索された文書(RAG)、会話履歴、ツール・DB呼び出しの結果。最近のモデルは12万〜20万トークンまで受け取れますが、コンテキストの途中に置かれた情報は前後に比べて参照率が目に見えて落ちるため、核心となる根拠は先頭か末尾に配置するのが実務上の定石です。ファインチューニングとの境界も明確です。口調や出力形式が問題ならファインチューニング、事実や最新性が問題ならコンテキストの側です。
設計の核心は「入れるもの」より「入れないもの」のルールです。文書を500〜1,000字単位に分けて上位3〜5件だけ載せ、改定日を過ぎた文書は検索対象から外し、20ターンを超えた会話は要約版に差し替える、といったやり方です。同じ質問で同じモデルを使っても、このルールによって正答率は分かれます。回答に出典のファイル名と更新日を併記しておくと、誤答が出たときに検索が間違っていたのか、モデルが間違っていたのかをすぐに切り分けられます。
最もよくある誤解は'窓が大きくなったのだから、全部入れればいい'という考えです。規程集300ページをまるごと貼り付けると、廃止された条項と今年の改正案が並んで入り、モデルはそのどちらかを適当に選んで答えます。根拠らしく見える誤った答えがそうして出てきます。そこに、トークンコストと応答遅延が何倍にも加わり、会話が長くなるほど序盤の指示が履歴に押されて薄まります。入れる設計と同じくらい、捨てる設計が重要です。
プロンプトエンジニアリングやRAG・エージェントの発展のなかで浮上した概念で、LLMの実務的な高度化とともに強調されています。
仮想の事例で見てみましょう。年商1,800億ウォン(約2,152,621万円)、役職員240名規模の建材流通会社A社は、社内規定と製品単価表を尋ねるQAボットを6か月運用していました。ところが営業チームがボットの回答どおりに見積もりを出し、単価が違っていて発行し直した案件が1か月に10件を超えました。「GPTをもっと良いモデルに替えよう」という話も出ましたが、原因は別のところにありました。
- IT チームのキム課長が誤答80件を抜き出して分類してみたところ、半分近くが2年前に廃止された単価表を根拠にしていました。会議では'モデルではなく倉庫が問題でしたね'という言葉が出ました。
- まず文書の保管庫から整理しました。3,200件のファイルのうち、改定日の表記がまったくない1,100件を取り除き、残ったファイルに'有効/廃止'のタグと更新日を付けました。
- 検索設定を見直しました。チャンクを800字で区切り、質問ごとに上位5件だけを取り出すようにしたうえで、廃止タグの付いた文書は検索対象からまったく除外するフィルターを設定しました。
- 営業本部のイ部長が'答えはもっともらしいが、どの文書から出たものか分からない'と言ったので、回答の下部に出典のファイル名と更新日が表示されるよう、プロンプトのテンプレートを直しました。
- 6週間後に同じ100問で再測定したところ、誤答率が34%から9%に下がり、呼び出し1回あたりの平均トークンが1万8千から6千に減ったことで、月間のAPI費用が3分の1程度になりました。
金鍾赫(キム・ジョンヒョク)
パク・ソリョン