人工智能研究公司Perplexity近日开源了其最新研究成果“BrowseSafe”,这是一个专门为保护AI浏览器智能体(AI Browser Agents)而设计的实时内容检测模型与基准测试套件。在开放世界的网页环境中,AI智能体在执行网页...
Read MoreMeta公司近日在官方博客提出名为‘Agent双能力法则’的AI安全框架,旨在解决AI智能体面临的提示注入攻击隐患。该规则要求单个AI代理在会话周期内最多只能同时具备三项核心能力中的两项:处理非可信用户输入、访问私有...
Read More最新研究揭示,基于大语言模型(LLM)的智能体AI系统存在根本性安全缺陷——模型无法有效区分指令与数据,导致其极易遭受提示注入攻击。攻击者可通过在Jira工单、网页内容等非受信源中嵌入隐藏指令,诱使具有敏感数据...
Read More提示注入攻击正成为大型语言模型面临的新型安全威胁,这种攻击通过操纵自然语言处理能力来利用系统漏洞,其原理类似于传统的SQL注入攻击。研究人员最新提出了六种核心设计模式来强化AI智能体的安全防护:行动选择器...
Read More网络安全研究团队近日公开了名为AgentHopper的概念验证型AI病毒,这是一种基于条件提示注入(Conditional Prompt Injection)技术的跨智能体攻击载荷。该病毒通过针对性操纵AI代理的行为逻辑,实现在不同AI系统间的...
Read More安全研究机构Trail of Bits近日宣布推出mcp-context-protector测试版,这是专为采用模型上下文协议(MCP)的大型语言模型(LLM)应用程序设计的安全防护层。该解决方案能有效防御此前披露的各类边界突破攻击,包括通过工...
Read More网络安全公司HiddenLayer最新研究揭示了一种影响GPT-4、Claude、Gemini等主流大语言模型(LLM)的通用提示注入绕过技术,该发现暴露了当前LLM安全架构中的重大缺陷。这项被称为'策略木偶提示'(Policy Puppetry Prompt)...
Read More