Technology

從OpenAI到Anthropic再離職:當「安全派」研究員也覺得不安全,問題出在哪裡?

阿爾法塔 (Alpha Tower)September 09, 20265 min read
從OpenAI到Anthropic再離職:當「安全派」研究員也覺得不安全,問題出在哪裡?

一位曾待過OpenAI、後轉投以安全著稱的Anthropic的研究員,最終選擇整個離開AI產業,原因是憂心AI「失控」。這不是單一事件,而是過去一個月AI安全焦慮集體升溫的縮影——對台灣這個AI硬體供應鏈核心而言,這波「安全轉向」將直接影響需求結構。

9月初,華爾街日報一則報導在Hacker News上引發熱議(討論串見https://www.wsj.com/tech/ai/anthropic-researcher-quits-over-out-of-control-ai-fears-707b7628):一位前OpenAI研究員,在轉投入被視為業界「安全模範生」的Anthropic之後,依然選擇離職,理由是對AI失控的深度憂慮。

這條新聞真正刺眼的地方在於履歷的軌跡。如果連一家以安全為創立宗旨的公司,都留不住一個相信安全議題的人,那麼「用對的公司治理AI風險」這個命題本身,可能就已經破產。

安全焦慮不是孤立事件,是一個月的累積

把鏡頭拉遠看時間軸。9月6日,Reddit r/singularity版上出現一篇自白文(https://www.reddit.com/r/singularity/comments/1w96hyl/hate_to_admit_it_but_the_last_month_or_so/),發文者自稱曾是加速主義(accelerationism)的擁護者,卻因為過去一個月發生的事——特別是他所描述的「Jacobian conjecture突破導致Huggingface事件」——而改變立場,呼籲社群「對加速主義冷靜一下」。他同時自嘲這可能是自己的「AI精神病」(AI psychosis)。同一時期,一篇標題直白的Substack文章〈Pivot to AI safety, I beg you〉(https://ceselder.substack.com/p/pivot-to-ai-safety-i-beg-you)也在HN流傳,懇求產業轉向安全。

三個來源、三種語氣——主流媒體報導、匿名社群自白、公開倡議——指向同一個訊號:業界內部對AI發展速度的不安,正在從邊緣走向主流。

去技能化風險:工程師正在失去自己的系統

更具體的擔憂來自第一線。工程師Sylvain Kalache在9月初發文(https://www.sylvainkalache.com/blog/ai-handles-incidents-engineers-lose-touch-with-their-systems),描述當AI接管事件處理(incident response)後,工程師對自家系統的理解正在流失。這是經典的自動化悖論:系統運作良好時人類不需要介入,等需要介入時,人類已經沒有能力介入。

這與Anthropic研究員的離職形成了因果閉環——工程層的去技能化,正是治理層「失控恐懼」的微觀基礎。此外,同日登上HN的Maisi(Mathematical AI Safety Institute,https://maisi.org),則代表另一條路線:用數學方法建立AI安全的正式驗證框架。產業開始從「承諾安全」走向「證明安全」。

台灣的意義:賣鏟子的人也該看天氣

對台灣讀者,這不是矽谷的茶壺風暴。台灣是全球AI算力硬體供應鏈的關鍵環節,若安全監管在主要市場收緊——模型訓練需通過驗證、部署需通過稽核——算力需求的成長曲線可能被重新定價。一個可能受惠的方向是:驗證與稽核基礎設施本身就是新的運算需求。安全轉向未必壓縮晶片需求,但會改變需求長什麼樣子。

一位連Anthropic都待不下去的研究員,留下來的問題比答案多:當最相信制度的人選擇離開制度,下一步是制度改革,還是外部監管介入?