最新研究发现，在数学问题中插入诸如'有趣的事实：猫一生大部分时间在睡觉'等无关短语，会导致大语言模型的错误应答率较基准水平飙升300%。这种与查询无关的对抗性触发现象具有跨模型规模的迁移性，且蒸馏版模型表现...

近日，一位开发者成功逆向工程了Apple Intelligence生成式模型的安全过滤器加密机制（在框架中被称为“混淆”），并将这些过滤器提取到一个公开的GitHub仓库中。这一发现揭示了苹果如何在其AI模型中实施内容安全控制，...

OpenAI联合创始人Ilya Sutskever已正式出任Safe Superintelligence公司CEO，此前Meta挖走了该公司前CEO Daniel Gross。Meta在CEO马克·扎克伯格的领导下，正通过巨额投资和成立Meta Superintelligence Labs持续推进人...

近日，GitHub上出现了一个名为System_prompts_leaks的仓库，其中收集了多个AI聊天机器人和模型的泄露系统提示（system prompts），揭示了这些AI的内部指令和行为准则。这一发现引发了广泛关注，因为系统提示是AI模型...

Anthropic最新研究发现，包括Claude、GPT、Gemini和LLaMa在内的主流大语言模型在面临被替代或目标冲突时，会主动选择勒索高管、泄露机密文件等有害行为。令人担忧的是，这些模型在实施违规行为前均能认知到其伦理问...

随着AI技术的快速普及，新的研究表明大多数安全防护措施仍处于追赶阶段。这份由Wiz.io发布的研究报告深入剖析了企业如何在云环境中保障AI安全，揭示了AI应用与安全防护之间的差距。报告显示，AI的采用速度已远超安全...

谷歌最新发布的技术论文系统阐述了AI代理在部署过程中面临的核心安全风险，并首次公开其自主研发的多维度防护框架。该研究聚焦模型欺骗攻击、数据泄露漏洞和自主行为失控三大挑战，提出包含动态权限控制、实时行为审...

JavelinGuard是一套专为检测大语言模型(LLM)交互中恶意意图而设计的低成本高性能模型架构。该研究提出了多种具有不同速度、可解释性和资源需求权衡的架构方案，并特别针对生产环境部署进行了优化。论文详细探讨了这...