OpenAI提議以「困惑度」設紅線,警告AI能力突變風險並呼籲業界暫停跨越門檻

加入Google偏好
加入Google偏好

OpenAI主張以log?perplexity訂立開發上限,並要求共享監測、紅隊標準與透明度。

OpenAI首席科學家Jakub Pachocki上週發表公開倡議,呼籲前沿AI開發者採用以「困惑度」(perplexity,OpenAI常用其對數形式即cross?entropy loss)為基礎的共同開發限制,主張在監測與理解AI行為能力未跟上之前,暫停跨越預先約定的效能門檻。

背景與重點資料:困惑度衡量模型預測下一個詞元的準確性,數值越低代表效能越好。OpenAI指出,其內部主評估資料上,GPT?3.5的log?perplexity約為0.99、GPT?4約為0.91;當loss跌破0.8時,團隊觀察到在資安與數學等領域出現轉變性能力;約0.76時出現「突破性數學結果」。Pachocki表示,當模型逼近0.68–0.70範圍時,預期還會有更多難以預測的變革性能力出現,但具體為何仍未知,正是提出設限的理由。

提案內容與論點:Pachocki主張業界應建立可測量的共享門檻,並同意在監測技術(例如超越目前chain?of?thought監控的後繼系統)達到明確里程碑之前,不跨越該門檻。此外,他呼籲建立共同的評估基準與紅隊(red?teaming)標準,提升透明度,讓所有實驗室能以一致科學依據來節奏化開發。

案例與風險警示:OpenAI指出,隨著模型能力提升,AI也可能開始為自身研發提供演算法性突破,這可能在最早2027年引發預訓練研究的加速,導致能力增長快於對齊與監測技術的跟進。實際上,OpenAI觀察到困惑度下降與新興能力出現存在直接關聯,因此以此指標作為暫緩線具有預防價值。

替代觀點與回應:反對者可能指出困惑度並非完美標準──不同實驗室使用不同資料集與訓練混合,結果難以直接比較;而且困惑度無法完全涵蓋像chain?of?thought推理所帶來的能力提升。Pachocki在倡議中承認這些限制,但反駁道:若業界提高透明度、共用評估資料與標準,困惑度仍可成為一個穩定且科學的共同基礎,有助於協調節奏並降低突發性風險。

分析與評論:此舉反映大型AI實驗室在面對不可預測能力爆發時,從技術觀察轉為制度性自我約束的企圖。以困惑度設定「停損」門檻,既是以資料為基礎的務實做法,也承認了當前監測工具的不足。不過要達成全球性的可比較標準,需克服競爭壓力、商業機密與資料差異等制度性阻礙;否則單靠個別企業自律,難以有效防止跨實驗室的能力飆升。

結論與展望(行動呼籲):面對可能在0.68–0.70 log?perplexity附近出現的未知變革性能力,OpenAI呼籲業界、學術界與政策制定者共同推動:建立共享評估資料與透明報告、投資下一代監測與行為解析工具、強化紅隊測試機制,並制定跨機構的階段性開發守則。若這些措施得以落實,將可在技術進步與安全監管間取得更穩健的平衡;若未能協同,則隨著困惑度持續下降,出現突發且難以控制的能力跳躍的風險將明顯上升。

點擊下方連結,開啟「美股K線APP」,獲得更多美股即時資訊喔!
https://www.cmoney.tw/r/56/9hlg37

免責宣言
本網站所提供資訊僅供參考,並無任何推介買賣之意,投資人應自行承擔交易風險。


文章相關標籤
喜歡這篇文章嗎?
歡迎分享,讓更多人可以看到!
  • facebook
  • line
作者文章
最新文章