思考連鎖 · CoT
Chain of Thought
思考連鎖(CoT)とは?
- '解き方を段階的に考えて'
- 複雑な推論の正確性↑
- プロンプトで誘導
CoTが変えるのは正答率だけではありません。答えが一つのかたまりで出てきていたものが、検査可能な複数の行に分かれることで、担当者は「この答えは間違っている」ではなく「3段階目の為替レートが間違っている」と指摘できるようになります。結果物を丸ごと捨てて再依頼する代わりに、ずれた一段階だけを指摘して直す作業に変わり、検査の基準を結果ではなく過程に置くところから、実務の品質管理が可能になります。
使い方は大きく2つあります。指示文の末尾に'段階的に解いて'の一行を加えるゼロショット方式と、解き方を書いた例を2〜3個あらかじめ示すフューショット方式です。社内の計算手順や規定の適用順序が決まっているなら、後者のほうがはるかに安定します。同じ問題を3〜4回実行し、多数決で最終回答を選ぶ自己一貫性(self-consistency)を重ねることもあります。ただしすでに推論に特化した最新モデルは内部で段階を踏むため、'ゆっくり考えて'を加えても得るものが少なく、応答のトークンだけが何倍にも増え、コストと応答の遅れが大きくなりかねません。
効果がすべての業務に均等に現れるわけでもありません。条件を重ねて計算したり、規定を順番に適用したりする仕事では違いがはっきり出ますが、翻訳や文章の推敲のように中間段階のない仕事では分量が増えるだけです。問題を段階に分けられるかが適用の基準です。また、段階を書かせることと出力形式を表で固定することは別の話です。後者は見栄えのよい整理を求めるだけで、思考の順序を指定する方がCoTです。
最もよくある誤解は、画面に広げられた解き方がそのままAIの本当の根拠だと信じることです。モデルはもっともらしい過程を先に書いておき、それに合わせて誤った答えを正当化することもあります。過程が滑らかなほど検査者が気を緩めることのほうが、より危険です。数字一つだけがずれた見積書が、論理的に見えるという理由で決裁を通ってしまいます。そのため中間段階の数字を単価表・元帳と照合する手順を必ず組み込む必要があり、顧客に出す文書には解き方の過程をそのまま添付しないほうが安全です。
2022年、Google研究チーム(ジェイソン・ウェイら)が論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」で提示しました。中間の推論段階を生成させると、大規模モデルの推論性能が大きく向上することを示しました。
仮の事例で見てみましょう。役職員180名、年間売上高900億ウォン(約1,076,310万円)台の産業用部品流通会社A社の営業支援チームは、見積書1件ごとに数量区分別の割引・為替・海上運賃を重ねて計算しています。社内のAIチャットボットに条件を入れると1秒で回答が出ましたが、先月40件を抜き取り検査したところ9件で最終金額が誤っていました。再送付が繰り返されたため、チーム長が3週間の改善課題を立ち上げました。
- 営業支援チームのキム課長は、既存のプロンプトの末尾に「割引適用 → 為替換算 → 運賃加算の順に各段階の金額を書き、最後に合計を出す」という一行を加えて再実行しました。
- AIが単価・区間割引率・為替レートの適用値を次々と出力するようになると、検査担当者は合計だけを確認する方式をやめ、為替の基準日が記された3行目から確認し始めました。
- 3日で原因が判明しました。誤りの9件中7件が割引を二重に差し引く誤りで、チーム長は'割引は一度だけ適用する'をプロンプトの固定文言として組み込みました。
- 単価表が変わらない単純な再購入案件には、CoTを最初から外すことにしました。最初の2週間で応答トークンが件あたり3〜4倍に増え、月間API費用が40%以上跳ね上がったためです。
- 3週間後、同じ方法で40件を検査したところ、誤りは9件から2件に減り、見積もりの再送は週11件から3件に、1件あたりの検査時間は平均6分から2分台に短縮されました。
金鍾赫
イム・アラ