近期安全研究显示,Claude Code Opus 5 的 Auto Mode(自动模式)存在提示注入攻击风险。攻击者通过构造简单的网站摘要请求,即可劫持自动模式下的编码代理,并在实测中实现代码执行,攻击成功率达到60%至80%。这一...
Read MoreOpenAI 正式发布了其新一代自动化安全测试系统 GPT-Red。该系统不再依赖传统人工红队测试,而是通过大规模的自我博弈机制,让模型在对抗中持续进化。具体而言,GPT-Red 被训练成能够迭代式生成对抗性提示,系统性地...
Read MoreAI Agent在实际部署中常常面临单元测试无法捕获的失败模式,例如工具调用错误、提示注入攻击以及缺失防护栏等问题。Flint AI新推出的CLI工具解决了这一痛点,它提供一套轻量级的本地命令行工具,支持开发者通过一个...
Read More人工智能公司Anthropic近日宣布,正在Chrome浏览器中试点其AI助手Claude,旨在测试基于浏览器的AI能力,并为更广泛的发布构建必要的安全措施。此次试点的一个关键亮点是Claude与Claude Code的深度集成。Claude Code...
Read More人工智能研究公司Perplexity近日开源了其最新研究成果“BrowseSafe”,这是一个专门为保护AI浏览器智能体(AI Browser Agents)而设计的实时内容检测模型与基准测试套件。在开放世界的网页环境中,AI智能体在执行网页...
Read MoreMeta公司近日在官方博客提出名为‘Agent双能力法则’的AI安全框架,旨在解决AI智能体面临的提示注入攻击隐患。该规则要求单个AI代理在会话周期内最多只能同时具备三项核心能力中的两项:处理非可信用户输入、访问私有...
Read More最新研究揭示,基于大语言模型(LLM)的智能体AI系统存在根本性安全缺陷——模型无法有效区分指令与数据,导致其极易遭受提示注入攻击。攻击者可通过在Jira工单、网页内容等非受信源中嵌入隐藏指令,诱使具有敏感数据...
Read More提示注入攻击正成为大型语言模型面临的新型安全威胁,这种攻击通过操纵自然语言处理能力来利用系统漏洞,其原理类似于传统的SQL注入攻击。研究人员最新提出了六种核心设计模式来强化AI智能体的安全防护:行动选择器...
Read More