二十年 Linux 技术服务专家 400-9696-513 7×24 小时技术支持

IBM 开源 Granite 4.1 抗提示注入模型:把「不可信数据」挡在指令之外

IBM 开源 Granite 4.1 抗提示注入模型:把「不可信数据」挡在指令之外

背景:随着 AI 智能体开始自动读取网页、邮件、文档等外部内容并据此行动,攻击者可通过在数据中埋藏隐藏指令来劫持智能体,这类「间接提示注入」已成为企业落地 AI 代理的最大安全隐患之一。

要点:IBM 开源的 Granite-4.1-3B 与 8B LLMON-preview 采用 LLMON 标记,在模型层面把可信指令与不可信数据严格分离;IBM 报告该方案在其内部基准上将间接提示注入攻击成功率从 53%–100% 大幅压低到 0.02%–5.6%,同时保持与标准 Granite 4.1 指令模型相近的通用任务表现。两款模型均以 Apache 2.0 发布,定位研究评估用途。

落地提示:企业若计划让智能体自动调用邮件、知识库或第三方 API,应优先评估模型是否具备原生的提示注入防御;将 Granite 这类「数据不可执行」模型置于代理链路,可作为比纯提示词约束更可靠的底层防线,再叠加人工复核与权限最小化策略。

对企业IT的意义:对计划部署企业级 AI 智能体的组织而言,模型原生具备「数据不可执行」的防御意识,意味着即便检索到的外部内容被污染,代理也不易被操控。这为金融、法务等高风险场景的 AI 落地提供了一道底层安全屏障。

来源:AISeng Tech《AI Research & Open-Source LLM Brief》

← 返回列表 咨询相关服务

相关阅读

电话咨询 留言
首页 服务 咨询 留言