圖靈測試
Turing Test
什麼是圖靈測試?
- 分不出來就視為「有智能」
- AI 定義的經典標準
- 也有關於侷限性的爭論
圖靈測試真正改變的,不是機器的效能,而是提問的形式。「機器會思考嗎?」必須打開心智內部才能回答,但圖靈把它改寫成以外部可觀測的行為來判定的問題。正因為這個轉變,人工智慧從哲學辯論轉入可衡量的工程課題,而今日以基準測試與評測資料集為模型排名的做法,也正是從這裡開始的。
原始設計比我們記得的更具體。圖靈提出:在五分鐘的對話中,若評審有三成以上把機器誤認為人類,即視為通過;這個標準後來成為 1991 年至 2019 年勒布納獎比賽的評分表。不過,這項測試並不衡量能力的上限,因為刻意算錯心算、混入錯字,反而更容易通過。約翰·塞爾於 1980 年以「中文房間」論證所刺中的,正是模仿與理解之間的縫隙。
'終於通過了'這類報導會週期性地反覆出現,原因就在條件設定。2014 年曾引起話題的一個程式,預先設定了'13 歲烏克蘭少年'的身分,讓生硬的語法與答非所問,都能歸咎於年齡與國籍。評審人數、對話時間、主題限制如何設定,結果可能完全翻轉,因此比起是否通過,更應先確認實驗條件。現代評估不再以模仿人類為標準,而改以逐項任務的準確度與可重現性為主軸,也是出於同樣的理由。
現場最容易出錯的地方,就是把這個概念當成產品的賣點文案。若以「像真人」為目標,模型就會不去承認不知道,反而傾向於編造看似合理的答案,最後做出 把幻覺誤認為品質的評估表。再加上歐盟《AI 法》等規範要求必須告知對方正在與 AI 互動,刻意隱藏身分的設計本身就有法律風險。在導入審查時,應該把問題從「像不像真人?」改成 錯誤引導的件數與處理時間。
艾倫·圖靈(Alan Turing)在 1950 年論文「Computing Machinery and Intelligence」中,以「模仿遊戲」提出此概念。
我們用一個假設案例來看。全體員工 740 人、年營收 KRW 280,000,000,000 (≈ US$209,571,400) 規模的家電通路商 A 公司,在開設客服諮詢聊天機器人時,把目標訂為 「讓客戶分辨不出對方是不是真人」。上線三個月後,轉接真人客服的比率沒有變,但二次客訴卻增加了一倍。
- CX 團隊的朴主管在改善會議上播放了 12 通客服通話錄音。其中一位客戶抱怨'剛才那位客服能不能換人?我講了三十分鐘了',並抗議了二十分鐘。
- 品質負責人金經理調出紀錄後發現,在 4,100 筆對話中,有 380 筆是聊天機器人回答'馬上為您確認',實際上卻沒有查到訂單的對話。
- 外部課程中重新提到圖靈測試的原始條件時,朴組長說:「我們衡量的不是準不準確,而是 會不會被發現。目標訂錯了。」
- 重新調整了 KPI。將'對話自然度滿意度'的權重調降,提高首次解決率,並降低錯誤指引的件數;開場問候語也改為'我是 AI 客服。複雜的問題將為您轉接真人客服'。
- 兩個月後,錯誤引導從 380 件降到 46 件,二次客訴降到原來的一半以下,初次解決率則從 51% 升到 68%。「既然表明是 AI,提問變得簡短又明確」,這是金經理的總結。
金鍾赫
Hye-rang Park