Meta公司近日在官方博客提出名为‘Agent双能力法则’的AI安全框架,旨在解决AI智能体面临的提示注入攻击隐患。该规则要求单个AI代理在会话周期内最多只能同时具备三项核心能力中的两项:处理非可信用户输入、访问私有...
Read MoreOpenAI近日推出名为Aardvark的智能安全研究代理,目前正处于私有测试阶段。该代理基于GPT-5架构构建,具备自主扫描代码仓库、识别安全漏洞、验证漏洞可利用性及生成修复方案的全流程能力。其核心技术突破体现在三方...
Read MoreOpenAI最新推出的gpt-oss-safeguard系列模型(包含1200亿和200亿参数版本)标志着AI安全技术的重要突破。该模型创新性地允许开发者在推理阶段直接应用定制化安全策略,无需像传统方法那样依赖数千个标注样本训练分类...
Read More最新研究揭示,基于大语言模型(LLM)的智能体AI系统存在根本性安全缺陷——模型无法有效区分指令与数据,导致其极易遭受提示注入攻击。攻击者可通过在Jira工单、网页内容等非受信源中嵌入隐藏指令,诱使具有敏感数据...
Read More思科AI防御实验室近日在GitHub开源了MCP-Scanner工具,专门用于检测MCP(Model Context Protocol)服务器的安全漏洞。该项目上线后迅速获得技术社区关注,在Hacker News平台收获127点讨论热度并引发36条专业评论,反...
Read More当前公众对软件漏洞的认知存在关键误区——传统软件的缺陷源于代码错误,可通过精确定位实现彻底修复;而AI系统的脆弱性则根植于海量训练数据,导致错误源头难以追溯或完全消除。这一差异揭示了AI安全的根本挑战:传统...
Read More由安全研究团队推出的开源项目Petri,标志着人工智能对齐领域取得重要技术突破。该工具作为专为现实场景设计的对齐审计智能体,彻底改变了传统验证流程——研究人员无需耗费数周构建定制化评估体系,即可在几分钟内完...
Read MoreAnthropic联合英国AI安全研究所与艾伦·图灵研究所的最新研究表明,大语言模型面临严重的数据投毒威胁。实验发现,仅需在训练数据中插入250份被篡改的文档(仅占训练总量的0.00016%),就能在参数规模从6亿到130亿不...
Read More