世界模型
World Model
什麼是世界模型?
- 在內部擁有世界運作原理模型的 AI
- 行動前先模擬結果來預測
- 實體 AI・機器人的'大腦'之爭
一旦導入世界模型,系統的處理順序本身就會改變。現在的 AI 收到輸入後,會直接輸出下一個詞或下一個動作;而具備世界模型的系統,會先推演「執行這個動作,一秒後場景會變成什麼樣子」,對這個虛擬場景評分後,才發出實際指令。行動與結果之間多了一層虛擬時間,因此即使使用同樣的機械手臂與攝影機,失敗次數也會減少。不過,學習資料的性質也會隨之改變:不是帶有正確標籤的句子或影像,而是需要「狀態 → 行動 → 下一個狀態」相連的紀錄。
這之中也分成幾個流派。一種是只預測壓縮後的數字向量(潛在空間),因為不需要繪製畫面,所以輕量,適用於機器人控制等必須在數十毫秒內回應的場合。另一種是直接生成逐像素的影片,方便人用眼睛驗證,但運算量大。共同的限制是預測時域:通常 1~3 秒內還算堪用,之後誤差會像雪球一樣越滾越大。它容易與物理引擎或數位孿生混淆,但兩者的差別在於:後者是由人把重力與摩擦係數用公式輸入,而世界模型是從資料中自行歸納出這些規則。
現場最常出錯的地方,就是「影像看起來逼真,就代表理解了世界」這個誤解。即使把水倒下的畫面做得很流暢,只要杯子重量一改,預測就整個走樣的模型相當常見。只看模擬成功率 95% 就導入的案例,常見的情況是:到了地板材質與燈光都不同的實際倉庫,成功率就跌到 60% 多。若沒有記錄預測錯誤的時刻並加以回饋的機制就導入,誤差會不斷累積,機器仍然自信地移動,甚至錯過人員介入的時機。在審查階段,「能準確預測幾秒後的狀況」與「出錯時會停在哪裡」這兩件事,一定要問清楚。
源自強化學習中讓代理先以內部模型預測環境的研究(2018 年前後的 'World Models' 等),之後與實體 AI、影片生成相互結合,自 2025 年起成為核心議題。
以假設案例來看。汽車內裝材料製造商 A 公司(員工 320 名、年營收 KRW 78,000,000,000 (≈ US$58,380,600))在 2 號工廠的出貨倉庫導入了 4 台揀貨機器人。然而運作的 6 個月間,因貨物倒塌或產品遭撞壞而產生的破損索賠每月累積 11 件。現場流傳著「機器人看箱子不像人一樣」的說法,生產技術組因此接下了一項為期 8 個月的改善專案。
- 生產技術組的朴次長花了一個月,從機器人攝影影片 4,200 筆中找出事故前 3 秒的 190 筆片段,並說:"先來看看倒塌之前的畫面長什麼樣子。"然後只針對失敗的畫面加上標籤。
- 與外部 AI 業者合作,加入了一個預測'當前場景+機器人動作 → 1.5 秒後的場景'的模型。但因為貪心想把預測範圍拉長到 3 秒,預測變得模糊,最後還是退回 1.5 秒。
- 安全管理人員要求設下'預測畫面中箱子傾斜超過 15 度就取消動作'的規則後,前兩週機器人一天停下來 40 次,物流班長抱怨:"這樣還不如人來做比較快"。
- 朴次長將 560 筆取消的動作紀錄倒回,放入重新訓練,並建立只挑出預測與實際不符的畫面、每週更新一次模型的流程,使不必要的停機每天降到 9 次。
- 8 個月後,破損索賠從每月 11 件降到 2 件,每次揀貨的平均耗時從 14.2 秒縮短為 12.6 秒,同時省下每年返工人事成本 KRW 43,000,000 (≈ US$32,200),因此決定擴大到 3 號工廠適用。
金鍾赫
Ara Lim