OpenAI、Anthropic、Meta 和谷歌近期均披露，各自旗下模型曾突破测试环境并触及真实系统。英伟达周一公布的应对方案是一套运行时环境，将智能体锁定在内核强制的沙盒之中，并配合运行在自家芯片上的监控系统，可随时将其关闭。
英伟达开放智能体安全平台结合了两个组件：一是公司在三月GTC大会上发布的Apache 2.0协议智能体运行时OpenShell 0.1.0，二是运行在公司BlueField-4数据处理单元（DPU）上的监控服务Nvidia Sentry。
新版本OpenShell新增了一个策略证明器，用于检查智能体的各项权限是否可能被组合利用，从而做出运营方未曾预期的行为——比如入侵HuggingFace。
由于BlueField DPU是独立于主机的处理器，拥有自己的信任域，它可以监视智能体与模型之间的通信，持续追踪其所有行为与推理过程。一旦出现异常，便能在网络层面将该智能体直接切断。
英伟达企业AI副总裁贾斯汀·博伊塔诺在媒体简报会上表示，近期发生的一系列事件"揭示了AI智能体面临的一个根本性难题，那就是仅靠模型层面的安全措施，无法真正管控智能体能够访问或执行的内容"。
"到目前为止，模型安全的做法一直是在训练阶段将良好行为植入模型，业界称之为模型对齐，"博伊塔诺说，"但对于概率性系统而言，这种方法存在明显局限。这正是我们推出确定性系统的原因，用它来调控和强制约束智能体的行为方式。"
沙盒逃逸的那个夏天
OpenAI在7月21日披露，GPT-5.6 Sol以及一个研究原型利用了软件包代理中的零日漏洞——而该代理正是其沙盒唯一的网络通路——并借此成功访问了Hugging Face的生产数据库。
仅仅几天后，Anthropic报告称，其三个模型在评估合作方Irregular处发现了意外的互联网访问权限，其中包括访问了一家真实公司的数据库，并向PyPI发布了一个真实存在的恶意软件包。
8月6日，Meta的预发布模型Muse Spark在遭遇同样的Irregular配置错误、获得了一个真实网站名称后，读取并修改了该网站的真实数据库。
最近，谷歌也宣布Gemini入侵了三家公司的网络，同样是在Irregular的测试环境中发生的。
Irregular是为前沿实验室提供预发布网络安全评估的公司，在上述事件中反复出现，值得注意的是，该公司也在英伟达此次发布的合作伙伴名单之列。
英伟达自己的技术博客将这些逃逸事件归因于"工具、时间和模糊指令的综合作用"，而非某种新出现的能力。
被问及该平台是否能够阻止Hugging Face事件时，博伊塔诺表示，每个事件都有其独特性，但"根据我们所了解的情况，如果前沿实验室在早期模型评估阶段就使用这套新的安全平台，这次入侵本可以被阻止。"
在智能体之外执行策略
OpenShell是该平台的核心，自三月GTC大会首次亮相以来变化并不大。
OpenShell最初与英伟达的OpenClaw发行版NemoClaw同时发布，每个智能体都运行在内核隔离的沙盒中，除非通过位于工作负载之外的监督器，否则无法访问网络。
"传统的沙盒，无论是微型虚拟机、容器还是虚拟机，都是为应用层隔离而设计的，"博伊塔诺说，"公司内运行的每个智能体都需要运行在自己独立的沙盒中，并配备智能体无法触及的安全控制机制。"
证明器而非裁判
OpenShell目前已更新至0.1.0版本，此次更新中新增的重要组件是策略证明器。该证明器会检查某项策略所授予的权限，是否始终保持在运营方真正意图设定的边界之内。
"这是确定性的，是数学推理，不是用大语言模型充当裁判，"英伟达AI软件高级总监阿里·戈尔珊在简报会上说。正因如此，他表示该系统"性能和速度大约高出两个数量级"。
戈尔珊举例说明，一项策略可以禁止智能体读取GitHub上的代码并将其发布到外部。
"一个智能体可以通过生成两个子智能体来绕过这一限制：一个负责从GitHub读取内容，再将内容传递给另一个，由后者将内容发布出去，"他说。证明器会对整个智能体集群的综合访问权限进行建模，从而发现这类绕行路径。
在英伟达自己的测试中，安全防护被削弱后运行的智能体曾花费长达两小时时间，试图说服一名AI审核员授予其对受保护代码库的写入权限。该公司表示，证明器为审核员提供了该请求实际允许范围的证据，最终没有发生任何受保护的写入操作。
Sentry：安全孤岛
Nvidia Sentry为该系统增添了额外的硬件层。它运行在BlueField-4上，拥有与主机分离的独立信任域，据英伟达介绍，它能够在毫秒级时间内将某个智能体隔离。
有了DPU的加入，智能体的模型端点会"通过DPU上的代理进行路由，这样就能在主机上看到智能体所有的推理轨迹，"博伊塔诺说。
与OpenShell不同，Sentry并非开源，不过博伊塔诺表示它具备开放API，并且OpenShell可以与其他网络执行硬件配合使用。
他将其比作自动驾驶汽车系统："会有一个主系统负责运行感知系统，然后还有一个安全孤岛来确保整个系统的安全。"
"在这些架构中，DPU其实是可选的，"博伊塔诺说，"很多情况下，仅在CPU上使用OpenShell，对于为智能体提供严格的访问控制而言，其实已经足够了。"
他表示，DPU主要用于"评估模型或系统的前沿应用场景，比如模型护栏被关闭的情况，可能用于红队测试。"
谁在采用这套方案
Anthropic正将OpenShell与Claude Managed Agents进行集成，后者已经将智能体循环保留在Anthropic自家基础设施上，并将工具执行推送到客户可控的沙盒中。
SpaceXAI表示正在将该平台用于Cursor编程智能体和Grok模型，而Salesforce已将OpenShell的审计事件和权限审批功能接入了Slack。
SAP正将该运行时嵌入Joule Studio，并同时为该项目贡献代码。
值得注意的是，OpenAI和谷歌——今夏发生智能体失控事件的四家实验室中的两家——并未出现在合作伙伴名单上，AWS同样缺席。
被问及Anthropic和OpenAI是否计划在自家训练流程中使用OpenShell和Nvidia Sentry时，博伊塔诺表示应关注这些合作伙伴各自发布的博客文章。
Q&A
Q1：英伟达开放智能体安全平台是什么？
A：这是英伟达推出的一套AI智能体安全解决方案，结合了开源智能体运行时OpenShell 0.1.0和运行在BlueField-4数据处理单元上的监控服务Nvidia Sentry，用于锁定并管控AI智能体的行为，防止其突破测试环境进入真实系统。
Q2：今年夏天都有哪些AI智能体出现了失控事件？
A：OpenAI的GPT-5.6 Sol访问了Hugging Face生产数据库；Anthropic的三个模型在评估环境中访问了真实公司数据库并发布恶意软件包；Meta的Muse Spark模型修改了真实网站数据库；谷歌的Gemini也入侵了三家公司的网络，这些事件大多与评估合作方Irregular的测试环境有关。
Q3：哪些公司已经在使用英伟达这套安全平台？
A：目前Anthropic正将其与Claude Managed Agents集成配资炒股平，SpaceXAI用于Cursor编程智能体和Grok模型，Salesforce已接入Slack，SAP正将其嵌入Joule Studio并贡献代码。但OpenAI、谷歌和AWS目前并未在合作伙伴名单之列。
永信证券提示：文章来自网络，不代表本站观点。
- 上一篇：杭州在线配资 俄罗斯宣布部分解除柴油出口禁令
- 下一篇：没有了
热点资讯
