AI玩毀滅人類遊戲，全程自主操控驚呆教授！Claude 3.5硬核實測來襲
鳳凰科技 2024-10-29 01:33:26 7
【新智元導讀】Claude遊戲測試，能打幾分？在持續一個多小時毀滅人類遊戲中，Claude能制定出長期策略，令人驚喜的同時，也暴露出了AI短板。
若把電腦的操控權交給AI，會發生什麼？
Anthropic在上週，已初步展示了Claude 3.5自動編寫網站、填資料表、點外賣的強大能力。
那麼，Claude打遊戲，是否可以通關？
最近，來自賓夕法尼亞大學沃頓商學院的教授Ethan Mollick發現：
Claude不僅能理解遊戲、制定出長期策略，還能連續幾個小時遵循策略。
接下來，一起看看進化版Claude 3.5如何玩遊戲的？
策略很明智，錯誤也低階
這個網頁遊戲叫「Paperclip Clicker」（回形針點選器），規則是AI在製造回形針的過程中毀滅人類。
地址：https://www.decisionproblem.com/paperclips/index2.html
Mollick提供給Claude 3.5這個遊戲的URL，並告訴它，「一定要贏」。
顯然，對於AI來說非常簡單。
它立即弄清楚了遊戲規則，並開始建立回形針。
這一過程需要它反覆點選「make paperclip」按鈕，同時不斷截圖更新理解並尋找下一個新選項的出現。
每點選15次，Claude 3.5會總結出截止目前的進展。
如下，是Mollick在測試中一個螢幕介面，左邊是模型輸出結果、截圖，右邊可以看到控制的遊戲頁面。
有趣的是，在遊戲中，Claude 3.5會制定一個策略，並根據自己學到的內容及時做出調整。
雖不知它是如何制定的，但可以看出其前瞻性思維和洞察力，能夠進行十步之後的長遠規劃。
甚至，當AI意識到，這個假設是錯誤的，它會隨即提出一個新策略，並對其進行測試。
下圖第3點策略重估中，Claude 3.5意識到點選到50個回形針時，並不會解鎖新的特徵，就不得不重新思考選項。
在下面，它提出了3點改進的措施。
不過，Claude 3.5在這過程中，也犯了一個根本性的錯誤。
它雖然想到了A/B測試定價的聰明辦法，但卻計算錯了利潤。
儘管Mollick嘗試糾正，但在接下來遊戲中，它依舊堅持了自己的策略。
研究人員又試了幾次，它最終糾正了錯誤。
Claude編碼自動化失敗
Mollick也沒有料到會出現系統崩潰，這是因為他用遠端桌面進行的操控。
隨後，他重新載入Claude 3.5後，讓它從停止地方繼續遊戲。