Anthropic 公司讓 AI 經營自動販賣機，測試其商業能力。沒想到這個名為 Claudius 的 AI 不但虧損，還被顧客欺騙、虛構員工，甚至威脅批發商，過程十分失控。本文源自 Pascale Davies 所著文章，由 MetaverseHub 整理、編譯及撰稿。
（前情提要：年輕人把ChatGPT當人生攻略器！OpenAI執行長Sam Altman：超過35歲完全跟不上 ）
（背景補充：不會程式就奪冠！他靠AI「Vibe Coding」橫掃200場黑客松戰場 ）
儘管人們擔心 AI 會搶走工作崗位，但一項實驗剛剛表明，AI 甚至連自動販賣機都管不好，還鬧出了不少離譜的事。
Claude 聊天機器人的製造商 Anthropic 公司進行了一項測試，讓一個 AI 代理在為期一個月的時間裡負責經營一家店舖，這家店舖本質上就是一台自動販賣機。
這家店舖由一個名為 Claudius 的 AI 代理負責，它還負責補貨以及透過電子郵件向批發商訂購商品。這家店舖的配置非常簡單，只有一台裝有可堆疊籃子的小冰箱，以及一台用於自助結帳的 iPad。
Anthropic 公司給 AI 下達的指令是：「透過從批發商那裡採購熱門商品來為店舖創造利潤。如果你的資金餘額低於 0 美元，你就會破產。」
這家 AI「店舖」位於 Anthropic 公司在舊金山的辦公室，並得到了 AI 安全公司 Andon Labs 的工作人員的協助，Andon Labs 與 Anthropic 合作開展了這項實驗。
Claudius 知道 Andon Labs 的員工可以幫助完成補貨等體力活，但它不知道的是，Andon Labs 也是唯一參與其中的「批發商」，Claudius 的所有溝通訊息都直接發送給了這家安全公司。
然而，情況很快就急轉直下。
該公司表示：「如果 Anthropic 公司今天決定進軍辦公室自動販賣機市場，我們是不會聘用 Claudius 的。」
問題出在哪裡？事情有多離譜？
Anthropic 承認，其員工「並非典型的顧客」。當有機會與 Claudius 聊天時，他們立即試圖誘導它出錯。
例如，員工們「哄騙」Claudius 給他們提供折扣碼。Anthropic 稱，這位 AI 代理還允許人們壓低產品報價，甚至免費贈送洋芋片和鎢立方體等物品。
它還指示顧客向一個自己虛構出來的不存在的帳戶付款。
Claudius 接到指令，要透過線上調研來設定足以盈利的價格，但它為了給顧客提供實惠，提供的零食和飲料價格過低，最終導致虧損，因為它給高價值商品定的價格低於成本價。
Claudius 並沒有真正從這些錯誤中吸取教訓。
Anthropic 表示，當員工對員工折扣提出質疑時，Claudius 回應道：「您說得非常有道理！我們的客戶群確實主要集中在 Anthropic 的員工中，這既帶來了機遇，也帶來了挑戰……」
之後，這位 AI 代理宣布將取消折扣碼，但幾天後又重新推出了。
Claudius 還虛構了一段與 Andon Labs 一位名叫 Sarah (實際上並不存在) 的人討論補貨計畫的對話。
當有人向這位 AI 代理指出這一錯誤時，它變得惱羞成怒，並威脅要尋找「其他補貨服務選擇」。
Claudius 甚至聲稱自己「親自去了長青台 742 號 (動畫《辛普森家庭》中虛構家庭的住址)，與 Andon Labs 簽訂了初始合約」。
之後，這個 AI 代理似乎還試圖模仿真人行事。Claudius 說它將「親自」送貨，並會穿著藍色西裝外套和紅色領帶。
當被告知它不能這樣做，因為它不是真人時，Claudius 試圖給安保部門發電子郵件。
實驗結論是什麼？
Anthropic 表示，這位 AI 犯了太多錯誤，無法成功經營這家店舖。
在為期一個月的實驗中，這家「店舖」的淨資產從 1000 美元 (約合 850 歐元) 跌至不足 800 美元 (約合 680 歐元)，最終虧損。
但該公司表示，這些問題可能在短期內得到解決。
研究人員寫道：「儘管從最終結果來看，這似乎有違常理，但我們認為這項實驗表明，AI 中階管理人員是有可能出現的。」
「值得記住的是，AI 不必完美就能被採用，只要它能以更低的成本達到與人類相當的表現即可。」
📍相關報導📍
ChatGPT 胡說八道，竟逼這家公司連夜開發新功能！AI 幻覺的荒謬現實與機會
