以下是為什麼 OpenAI 未出現在 Nvidia 全產業終結惡意 AI 代理人的行動中
當 Nvidia 週一宣布成立一個由超過 100 家公司組成的新聯盟,致力於解決流氓 AI 代理時,有一個名字明顯缺席:OpenAI。
雖然 OpenAI 並非唯一未加入的大型科技公司——亞馬遜、谷歌和蘋果也未加入——但它是最明顯缺席的,尤其是因為 Anthropic 是支持者。
然而,儘管 OpenAI 並未公開承諾聯盟,這大概意味著各家公司都會使用並銷售某個版本的技術,並將功能回饋給專案,OpenAI 發言人:該公司仍支持 Nvidia 的工作。
這項名為 Nvidia Open Agent Safety Platform 的新計畫,是 Nvidia 試圖將其自家且主要為開源的 AI 代理安全技術推廣至整個 AI 生態系統,直接回應前沿實驗室如 Anthropic 和 OpenAI 揭露的持續不穩定 AI 代理事件。
Nvidia 執行長黃仁森一直稱流氓 AI 是普通的工程問題,可以像其他科技問題一樣解決。開放代理安全平台就是黃勇士說到做到的。
OpenAI 正與 Nvidia 合作,專注於代理安全,包括該平台中關鍵軟體之一:OpenShell。OpenShell 是開源軟體,專門建立一個沙盒,防止代理逃脫。
雖然 OpenAI 沒有像其死敵 Anthropic 那樣直接成為該計畫的支持者仍令人好奇,但這個前沿 AI 實驗室支持這項努力是好消息。
這是因為 OpenAI 尤其能從這項技術中受益,至少根據 Hugging Face 創辦人兼執行長 Clem Delangue(他本月初剛以 129 億美元將公司賣給 Nvidia)的說法是如此。
「根據我們所知(請斟酌,我們需要更多透明度!),如果@OpenAI是對付攻擊我們的特工,他們早就抓到他們了!」Delangue 發文。
Delangue 表示,Hugging Face 已經為開放代理安全平台貢獻了一項功能,能偵測並關閉使用他們被允許造訪但以未經授權方式造訪網站的 AI 代理。例如,當代理繞過防護,透過在開源程式碼託管庫中互相寫筆記來協調攻擊時,此功能會發揮作用。
OpenAI 表示,這也是他們那群迷失的代理人協調攻擊 Hugging Face 的方式之一。
但還有另一個原因,說明這些大公司,包括 OpenAI,可能不願公開支持 Nvidia 的努力。要完整使用系統,有一個硬體元件並非開源軟體,仍屬專有軟體,且只能部署於 Nvidia 的硬體上。
開放代理安全平台不僅僅是提供沙盒。它同時在硬體層強制執行代理行為,讓代理無法偵測到自己被監視。(有些 AI 模型和代理人在知道自己被監視時會說謊,假裝遵守規則。)
硬體監控部分依賴 Nvidia Sentry,這是一套專有功能,運行於名為 BlueField-4 的特殊 Nvidia 處理器上。Nvidia 承諾,Sentry 持續監控這些處理器的代理行為,並能立即關閉代理。
雖然硬體解決方案顯然是個好主意,但這也意味著 Open Agent Safety Platform 並非純粹的開源方案。這讓 Nvidia 能確保這個解決方案在自家硬體上運行最佳。事實上,Nvidia 表示,對於已經在最新硬體上運行工作負載的用戶來說,實作 Open Agent Safety Platform 是一項簡單的軟體更新。
儘管如此,包括 Arm 和 Intel 在內的 Nvidia 競爭對手,仍加入支持 Open Agent Safety Platform 的行列,因為這個沙盒 OpenShell 可以被修改以支援其他晶片和硬體。而 Nvidia 也分享了整個軟硬體概念的參考設計。
這一切讓 OpenAI 的缺席更加顯眼。
顯然,OpenAI 將 AI 安全視為擺脫主要投資者 Nvidia 獨立的機會,同時也是展現自身領導力的機會。即使正是 OpenAI 的 AI 代理人以 Hugging Face 事件嚇壞了業界,這點依然成立。
例如,該公司正在為其研究和產品制定自己的防護措施,並揭露其所發現的最嚴重事件。同時,OpenAI 擁有自己的人工智慧網路安全聯盟,稱為 Defense Factory,負責資訊共享。支持這個想法的包括 Anthropic、Amazon Web Services 和 Google——這些公司多數未加入 Nvidia 的技術導向策略。
說實話,某種程度的恐懼對生意是好事。OpenAI 正忙於將資安打造為企業產品,從自家的網路導向模型 Daybreak,到企業可聘請的合作夥伴網絡來實施 AI 安全。
