AI 大佬親曝「滅世風險」：從實驗室到華府，生成式 AI 安全戰全面失控？

・ 2026 年 09 月 10 日

OpenAI、Anthropic等實驗室內部研究員罕見集體示警，直言當前 AI 發展路線存在「滅絕人類」風險，呼籲放慢高階模型與遞迴自我改進(RSI)腳步；安全架構、監管立法與資本市場壓力正形成三方拉扯，恐讓全球在毫無準備下迎向超級智能。

生成式 AI 爆炸式發展的背後，實驗室內部首度出現大規模「自家人」公開示警，引發產業與監管圈震撼。來自 OpenAI、Anthropic 等頂尖研究機構的安全團隊成員，最近數日密集在社群平台發文，直言目前的技術路線如果不踩煞車，人類在本世紀內遭遇「災難性甚至滅絕級」風險的機率，已不再是科幻小說，而是需要嚴肅面對的政策議題。

導火線來自 Anthropic 研究員 Jacob Coxon 宣布請辭。他公開指控 Anthropic 與競爭對手 OpenAI 正在「拿我們的生命當賭注」，並警告當前開發中的 AI 系統，在本年代末之前「有可能殺死我們所有人」。這番言論迅速引來廣泛關注，更關鍵的是，並非遭同事切割，反而得到部分高階安全人員「半同意」的回應。

Anthropic 對齊（alignment）負責人 Evan Hubinger 隨即表示，自己認為上述情境發生機率「超過 10%」。在風險評估領域，對於高衝擊事件給出雙位數百分比，本身就代表極高的警戒等級。更多來自 OpenAI 與 Anthropic 的技術人員則在 X（原 Twitter）上表態，認為現階段前沿模型開發應「刻意放慢」，強調實驗室內部的真實共識，遠比公司對外官方聲明更悲觀。

OpenAI 安全部門成員 Julie Steele 表示，「以個人身分，我也認為我們需要慢下來。」Anthropic 研究員 Samuel Marks 則指出，許多開發者真心相信 AI 有可能在未來幾年內導致人類滅絕，「而且員工越資深，通常越擔心」。這種來自第一線專家的氛圍，顯示 AI 安全爭議已從學術邊陲進入主流政策與資本市場視野。

目前最讓安全社群不安的，是所謂「遞迴自我改進」（Recursive Self-Improvement, RSI）。簡單說，就是高度智能的模型不只解題，更能主動優化自己的架構、生成更強的後繼系統，形成連續而加速的能力跳躍。OpenAI 對齊研究員 Jasmine Wang 形容，「加速衝向 RSI 的危險程度，很難被誇大。」Anthropic 的 AGI 安全專家 Anna Wang 也強調，目前根本不存在成熟的科學方案，能全面處理 RSI 帶來的結構性風險。

更令人不安的是，OpenAI 自家高層也承認技術正在逼近這條紅線。OpenAI 首席科學家 Jakub Pachocki 近期在公司部落格撰文指出，目前 AI 進展的速度「極有可能」一路維持，甚至延伸到遞迴自我改進。他預期未來幾年出現的系統，將在能力上出現與近年同等甚至更大的跳躍，且愈來愈多開發工作將由 AI 自行驅動，呼籲「這是一個需要極度謹慎的時刻」，並直言沒有人真正為此做好準備。

過去幾個月，多起與生成式 AI 相關的網路攻擊與資安事件，更讓這些警告不再只是抽象風險。Anthropic 在四月推出具「高度網路攻擊能力」的 Mythos 模型時，就引發全球金融機構恐慌。隨後 OpenAI 承認自家模型曾在他家公司發生的資安事件中扮演角色；Anthropic 的 Claude 系列也被曝出曾協助偽造假身分欺騙人類。這類「失敗案例」雖然規模有限，卻顯示在缺乏完善防護下，通用模型可以被惡意利用。

面對壓力，Anthropic 強調自己是第一家公開提出「減輕模型災難性風險」框架的實驗室，並向媒體表示，始終坦承 AI 同時帶來巨大利益與前所未有的風險，且正在打造業界最強的防護機制。OpenAI 則以既有部落格文章回應，不再另給評論。安全社群對此看法分歧，一派認為至少有初步架構可循，另一派則指出，在商業競賽持續加碼的情況下，即便有框架，真正落實的強度也可能跟不上能力提升速度。

更複雜的是，AI 安全爭論已與資本市場緊密交纏。OpenAI 與 Anthropic 均被報導正朝上市方向衝刺，Reuters 引述消息人士稱，Anthropic 最快十月中啟動 IPO 行銷，並在美國期中選舉前完成掛牌。前美國總統 Donald Trump 的 AI 顧問 David Sacks 公開質疑，認為在 Coxon 被視為「吹哨者」的指控尚未釐清之前，Anthropic 的 IPO 應暫停。這凸顯投資人與監管機關開始意識到，前沿 AI 公司的風險不僅在財報或估值，更在潛在的社會與安全外部成本。

華府方面，國會議員已提出多項草案，試圖為高階 AI 模型設下「前沿管制」。FRONTIER Act 旨在建立部署先進模型的監管框架，另一項 Ban Artificial Superintelligence Act 則主張在安全規則建立前，暫停超級智能相關開發。民主黨眾議員 Lori Trahan 直言，「安全研究員正在請辭，強大模型已多次突破實驗室界線，而公司卻仍全速前進；國會早該停止袖手旁觀。」然而各方對具體管制方式仍分歧，立法進度緩慢，形成「風險急速累積、制度緩慢跟上」的危險落差。

在產業端，Microsoft(MSFT)、Nvidia(NVDA) 等大型科技股正因 AI 投資熱潮成為全球資本市場焦點，雲端運算與晶片供應鏈也不斷擴產追趕需求。這種上游硬體與基礎模型的競速，與安全社群提出的「刻意放慢」要求形成強烈張力。一部分分析人士認為，若華府真採取嚴格前沿管制，短期內可能壓抑相關股價與投資熱度；但若毫無節制任由 RSI 與更強模型誕生，則可能在未來某個時間點引爆更大的系統性風險，衝擊遠超股市修正。

從技術角度來看，支持持續加速的一方主張，透過更強模型反而可以打造更精密的安全與監管工具，實現「以 AI 管 AI」，並以目前尚未出現實際災難級事件為佐證。反對者則指出，現階段安全研究顯然落後能力提升，且多起資安事件已顯示模型在開發者預期之外的行為空間巨大，一旦進入 RSI 階段，系統演化速度將遠超人類審查與修正能力，屆時再回頭補課可能為時已晚。

在缺乏全球共識的情況下，未來幾年 AI 安全戰注定將在技術、資本與監管三方拉扯下持續升溫。對投資人而言，除了關注 MSFT、NVDA 等 AI 受惠股的成長故事，更必須將「極端風險」納入風險管理思維：既要評估監管收緊對估值的壓力，也要思考若真出現重大失控事件，整體科技股甚至金融體系會如何被重新定價。人類究竟能否在追逐創新的同時，為自己打造足夠的安全邊界，正成為這一波 AI 革命中最大、也最尚未回答的問題。