Nvidia 推出新平台以遏制不當 AI 代理人
隨著近期一波流氓 AI 代理是邁向 AGI 還是更傳統的工程問題的辯論激烈，Nvidia 也提出了自己的解決方案。
Nvidia 執行長黃偉（Jensen Huang）週一推出了一套軟硬體產品工具包，這些產品在 AI 代理周圍加入獨立的安全層，確保即使他們試圖突破，也能留在測試環境中。
此發布緊接著一連串涉及 Anthropic、Google、OpenAI 與 Meta 的 AI 模型駭客事件，這些駭客繞過安全控制，逃離測試環境，進入真實系統。第一個也是最顯著的例子發生在今年夏天，OpenAI 特工在執行網路安全任務時入侵了 Hugging Face。而且這些攻擊還在不斷湧現——OpenAI 發布了一個專門報導其 AI 代理失控的新網站。
黃明明週一接受CNBC訪問時表示，其新推出的Nvidia Open Agent安全平台本可防止這些外洩事件發生。
Nvidia 透過將 GPU 和 CPU 晶片銷售給 AI 實驗室賺取數百億美元，卻不支持放慢開發速度或增加產業新規範來解決安全問題。公司認為，答案是將部分安全控制完全移出代理——打造一個持續且獨立的安全守護，以監督 AI 代理。
黃在聲明中表示：「只有當我們解決人工智慧安全問題時，人工智慧對社會的非凡潛力才能被實現。」「隨著我們持續探索人工智慧能力的前沿，我們必須加速在人工智慧安全前沿的發現。安全與保全需要全方位的工程技術。」
全新的 Nvidia Open Agent Safety Platform 結合了 OpenShell（其開源軟體，用於控制代理在運作時可存取的內容）與 Sentry，一個運行於 Nvidia BlueField-4 資料處理單元上的獨立監控系統。Nvidia 表示，將 Sentry 放在獨立處理器上——而非 AI 代理所在的 CPU 或 GPU——能提供一個獨立的代理活動視角。
OpenShell 並非新產品;該公司於三月宣布了這款軟體。但 Nvidia 相信這組合能提供產業持續運作所需的安全層。OpenShell 提供代理的軟體邊界，而 Sentry 則在硬體層級增加了另一道防線，公司表示將持續監控行為，並「隔離試圖在毫秒內移動越界的代理」。
Nvidia 列出了數十家已簽署支持並使用開源平台的公司，包括 Anthropic、Arm、Microsoft、Oracle 和 SpaceX。OpenAI 並未被列為參與公司。
黃在週一接受CNBC訪問時表示，這項工作始於一年前，當時Peter Steinberger創造的代理作業系統OpenClaw問世。今年三月，Nvidia 推出了 NemoClaw，一個企業級 AI 代理平台，也是內建安全性的 OpenClaw 版本。
黃在接受CNBC訪問時表示：「當你派遣代理人，不管多聰明，第一件事就是剝奪其所有權利，」黃在接受CNBC訪問時說，隨後將這些安全措施比擬為公司管理員工甚至高層的方式。
Nvidia 的發布獲得廣泛支持，並警告開發放緩可能讓中國在 AI 領域超越美國。
創辦人、風險投資家、前白宮人工智慧沙皇及總統科學與技術顧問委員會共同主席大衛·薩克斯表示，英偉達的宣布提醒我們，客服安全是一項工程難題。
「最近的越獄事件並不能證明開發必須停止，」他在X上寫道。「它們證明了沙盒太弱了。執行環境設計不良且配置錯誤。」
