チューリングテスト
Turing Test
チューリングテストとは?
- 区別がつかなければ「知能がある」とみなす
- AIの定義における古典的な基準
- 限界をめぐる議論もあります
チューリング・テストが実際に変えたのは機械の性能ではなく、問いの形式です。「機械は考えるのか」は心の内部を開いてみなければ答えられませんが、チューリングはそれを外から観察できる振る舞いで判定する問題に置き換えました。この転換によって人工知能は哲学論争から測定可能な工学の課題へと降りてきて、今日ベンチマークや評価セットでモデルを順位づける慣行も、この地点から始まっています。
チューリングの元の設計は、私たちが覚えているより具体的です。チューリングは5分間の会話で審査員の30%以上が機械を人間と取り違えたら合格とする基準を示し、この基準は1991年から2019年まで続いたローブナー賞の採点表になりました。ただしこのテストは能力の上限を測るものではありません。わざと暗算を間違え、誤字を混ぜたほうが合格に有利だからです。ジョン・サールが1980年の「中国語の部屋」論証で突いたのも、まねと理解の間の隔たりでした。
「ついに合格した」という記事が定期的に繰り返される理由は条件にあります。2014年に話題になったあるプログラムは、「13歳のウクライナ人少年」という設定をあらかじめ置き、ぎこちない文法や的外れな応答を年齢と国籍のせいにできるようにしました。審査員の数、会話時間、話題の制限をどう設定するかで結果は丸ごと覆るため、合否より実験条件を先に確認しなければなりません。現代の評価が人間のまねではなく課題別の正確さと再現性へ軸を移したのも、同じ理由からです。
現場で最も大きくずれるのは、この概念を製品の売り文句として使ったときです。「人間らしさ」を目標に掲げると、モデルは分からないと答える代わりにもっともらしく作り話をする方向に引きずられ、結局幻覚を品質と取り違えた評価表が出来上がります。さらにEU AI法のように、相手がAIであることを開示するよう求める規制が増えており、正体を隠す設計はそれ自体が法的リスクです。導入審査の場では「人間らしいですか」ではなく、誤案内の件数と処理時間を尋ねる形に質問を切り替える必要があります。
アラン・チューリング(Alan Turing)が1950年の論文「Computing Machinery and Intelligence」で、『模倣ゲーム』として提案しました。
仮の事例で見てみましょう。役職員740名、年売上高2,800億ウォン(約3,348,521万円)規模の生活家電流通会社A社は、カスタマーセンターの相談チャットボットを開設する際、目標を「顧客が人間だと気づかないこと」に設定しました。オープンから3か月が経つと、オペレーターへの引き継ぎ率はそのままなのに、2次クレームだけが2倍に増えました。
- CXチームのパク・チーム長は改善会議でコール録音を12件再生しました。ある顧客は「さっきの相談員に代えてほしい、30分も説明したのに」と20分間抗議しました。
- 品質担当のキム・マネージャーがログを抽出したところ、チャットボットが「すぐに確認してご案内します」と答えておきながら、実際には注文照会ができていない会話が4,100件中380件ありました。
- 外部研修でチューリングテストの本来の条件を確認すると、パク・チーム長がこう言いました。「私たちが測っていたのは正確かどうかではなく、バレないかどうかでしたね。目標の立て方を誤っていました。」
- KPIを組み直しました。「会話の自然さへの満足度」を下げ、一次解決率と誤案内件数を重視するようにし、最初の挨拶を「AI相談員です。複雑な件は相談員におつなぎします」に改めました。
- 2か月後、誤案内は380件から46件に減り、2次クレームは半分以下に減少、1次解決率は51%から68%に上がりました。「AIだと明かしたら、質問が短く明確になった」というのがキム・マネージャーのまとめです。
金鍾赫(キム・ジョンヒョク)
パク・ヘラン