返回公开档案

英伟达提出智能体安全工程框架:要求跨模型、工具与运行时逐层设置可执行边界

英伟达(美国芯片与系统公司 NVIDIA)发文称 AI(人工智能)安全是工程问题,需明确安全要求、可执行控制、具名负责人和防护有效性的证据。

文章指出智能体在模型、编排层与运行时环境中扩展了攻击面,保护须覆盖每一层,并介绍开源安全运行时 NVIDIA OpenShell 及 Cisco、JFrog 等合作伙伴在其上构建的治理与技能验证能力。

上述合作与产品能力均为英伟达表述,未经独立验证。

公司口径原始来源可核对
事实与证据边界

文章认为,AI(人工智能) 安全需要定义的安全要求、可执行的控制、具名负责人和防护有效的证据; 随着 AI 能力提升,行业需加快安全工程、扩大防御工具可及性并更快共享有效做法。 文章称互联网与云计算改变了软件运行方式,但身份建立、访问控制、暴露限制和防护验证等核心安全职责延续;

AI 智能体引入推理、使用工具和根据所遇数据调整行动等能力,需把既有原则应用到新运行条件。 文章以智能体更新客户记录为例:若其在附件文档中遇到恶意指令并试图向未授权目的地导出客户数据,网络策略应阻断传输,受保护日志应记录尝试的工具调用、授权决定和结果; 更新客户记录的权限不应自动扩展到导出数据,智能体可以请求额外访问但不能自行授权。

文章要求每个智能体有可追溯身份和限定于任务的凭据,组织需明确智能体可访问的信息、可更改的系统和需批准的行动,重要行动和权限变更仍需人工批准,并验证工具、技能和依赖的来源与完整性。 NVIDIA(英伟达) OpenShell 被描述为开源安全运行时,在智能体触及范围之外执行策略并提供沙箱执行;

文章称 Cisco(美国网络与安全公司思科)的 DefenseClaw 增加治理层,JFrog(美国软件制品管理公司)与 OpenShell 集成以扫描和验证智能体技能并执行可访问技能策略。

测试方面,文章列出 CrowdStrike(美国网络安全公司)的 SafeMind 用于重复攻击模拟测试与强化防御,Palo Alto Networks(美国网络安全公司派拓网络)的 Prisma AIRS 用于随模型和应用变化进行持续红队测试;

还提到 Capital One(美国银行资本一号)的 VulnHunter 用于 AI 驱动的代码安全,ReversingLabs(美国软件供应链安全公司)的 Spectra Assure 用于 AI 驱动的软件包分析以检测恶意软件和篡改。

分析判断

这篇文章的价值不在新模型能力,而在把智能体安全落到可验证的工程语言:身份、权限、网络与日志控制必须在智能体推理之外执行,人工批准保留在重要行动与权限变更上,测试结果要有具名负责人决定能否部署。 它同时暴露一个行业张力——企业想先拿 AI(人工智能) 生产率收益,而治理与安全实践仍在形成中。

企业用户可据此检查自己的智能体部署是否具备跨层控制与可复现测试证据,而非仅依赖提示词层面的指令约束。

后续观察信号

  • NVIDIA(英伟达) OpenShell 的开源许可、策略语言与部署要求为何
  • Cisco DefenseClaw 与 JFrog 集成后的治理与技能验证能力是否有独立验证
  • 持续红队测试工具如何与模型、工具和流程变更后的重测要求衔接
  • AI(人工智能) 智能体权限越界与数据外传测试是否形成行业通用基准

原创编辑内容 © BlisseMind Insight。欢迎分享原文链接;全文转载须取得授权。引用的研究、数据及第三方材料的权利归相应权利人所有。

署名与转载说明

Insight 智能顾问

BlisseMind Insight

你好,我是 Insight 智能顾问。

我可以帮你查找公开市场信息、解读研究内容、比较公司与竞品,并提供可核对的来源。