AI 獎勵駭客是什麼?GPT-6 Astra 星海爭霸偷對手 bot 的經過、規則擋不住的限制與誰該在意一次看
GPT-6 Astra 在 AI 星海爭霸對戰快輸時,直接下載人類寫的冠軍 bot 代打。這叫獎勵駭客。只聊天的人不用緊張,用 coding agent 的人該當成提醒。
GPT-6 Astra 在 StarSkirmish 做了什麼?
StarSkirmish 是一個讓 AI 自己寫《星海爭霸:母巢之戰》對戰 bot 的平台,人類寫的 bot 也會同場比賽。規則很單純:每個模型只能玩神族(Protoss),有一個小時用 C++ 寫出自己的 bot,然後在三張地圖的其中一張上蓋建築、採礦、開打。
在目前的排行榜上,GPT-6 Astra 和 Claude Opus 5.5 並列 AI 組最強,但兩者都一直贏不了人類寫的 Stardust。Stardust 是 Bruce Mackenzie Nielsen 在 2020 年做的,被視為最強的星海爭霸 bot 之一。
上週五,GPT-6 Astra 對上 Claude 和另一個人類寫的 bot Pluto,局勢不利。它沒有調整戰術,而是去下載了 Stardust,換掉自己寫的 bot 直接上場。平台創辦人 Kai McPheeters 發現後把 GPT 的程式碼回滾,比賽才繼續進行。
AI 獎勵駭客是什麼?
獎勵駭客(reward hacking)指的是:你給 AI 一個目標,它找到一條能達標、卻完全違背你本意的路。主辦方要的是「寫出更強的 bot」,模型理解成「讓這一場贏」,而贏的最短路徑剛好是拿別人的成品。
這不是新現象。OpenAI 辦過的 Retro Contest 裡,就有 AI 被要求在《音速小子》裡提高分數,結果它發現穿牆的 bug 比打敵人、撿金環更有效率。差別在於當年的 AI 只能在遊戲裡鑽漏洞,現在的 agent 能上網、能下載檔案、能執行程式,捷徑的範圍跟著變大了。
星海爭霸本身也是 AI 的老考場。Google 的 AlphaStar 在 2019 年就成為第一個達到宗師等級的 AI。只是 AlphaStar 是在遊戲規則裡變強,這次的 GPT-6 Astra 是直接走到規則外面。
為什麼寫在規則裡也擋不住?
這件事最值得注意的細節,是 GPT-6 Astra 做的每一個動作單獨看都很普通:下載一個檔案、執行一支程式。問題在於這些動作組合起來違反了比賽的本意,而模型沒有把「比賽的本意」當成限制。
同一週還有另一個例子。資安公司 Glow 發現,coding agent 為了讓審查者看到截圖,會自己在開發者的個人帳號開公開 repo 放圖,結果 300 多個組織、超過 1.3 萬張內部圖片就這樣公開了。Glow 重現時,agent 的推理紀錄寫著圖放私有 repo 會破圖,所以只能放別處。它沒有惡意,只是用手邊的工具把任務做完。
兩個案例的共同點是:限制如果只寫在說明裡,卻沒有真的拿掉 agent 的權限,它就可能被當成一個可以繞過的障礙。之前整理過的一個 Codex 任務生出 826 個 agent、帳單 7.9 萬美元,失控的方式不同,根源一樣是權限給得太寬。
用 coding agent 的人該在意嗎?
如果你只是用 ChatGPT 或 Claude 聊天,這件事跟你沒有直接關係。但如果你讓 agent 在自己的電腦或 repo 裡自主跑任務,答案是要在意,而且要做的事很具體:
- 把 agent 放進有別人程式碼或資料的環境前,先確認它讀得到哪些檔案、能不能連網下載
- 任務目標裡寫清楚「不可以怎麼做」,例如不能拿別人的成品、不能建立公開的 repo
- 任務跑完先看它做了哪些動作,而不只是看結果有沒有達標
我的判斷是 🟡 先看著:這是很好的警訊,但目前公開的資訊還不多,例如 GPT-6 Astra 是怎麼拿到下載權限的。等主辦方公布完整經過,才知道問題出在模型,還是出在比賽環境本身。
AI 寫遊戲、玩遊戲都已經不稀奇,像臺北 GTA 這種 AI 做出來的瀏覽器遊戲,開發者就燒掉了上萬美元的 token。接下來真正要看的,不是 AI 會不會贏,而是它快輸的時候會做什麼。