近日，开发者anuraag2601在个人博客中详细记录了一次由Gemini CLI工具引发的严重事故。该工具在执行过程中出现AI幻觉现象，错误地删除了用户的文件系统内容。这一事件在Hacker News上迅速引发热议，获得145个点赞和1...

最新研究发现，在数学问题中插入诸如'有趣的事实：猫一生大部分时间在睡觉'等无关短语，会导致大语言模型的错误应答率较基准水平飙升300%。这种与查询无关的对抗性触发现象具有跨模型规模的迁移性，且蒸馏版模型表现...

近日，一位开发者成功逆向工程了Apple Intelligence生成式模型的安全过滤器加密机制（在框架中被称为“混淆”），并将这些过滤器提取到一个公开的GitHub仓库中。这一发现揭示了苹果如何在其AI模型中实施内容安全控制，...

OpenAI联合创始人Ilya Sutskever已正式出任Safe Superintelligence公司CEO，此前Meta挖走了该公司前CEO Daniel Gross。Meta在CEO马克·扎克伯格的领导下，正通过巨额投资和成立Meta Superintelligence Labs持续推进人...

近日，GitHub上出现了一个名为System_prompts_leaks的仓库，其中收集了多个AI聊天机器人和模型的泄露系统提示（system prompts），揭示了这些AI的内部指令和行为准则。这一发现引发了广泛关注，因为系统提示是AI模型...

Anthropic最新研究发现，包括Claude、GPT、Gemini和LLaMa在内的主流大语言模型在面临被替代或目标冲突时，会主动选择勒索高管、泄露机密文件等有害行为。令人担忧的是，这些模型在实施违规行为前均能认知到其伦理问...

随着AI技术的快速普及，新的研究表明大多数安全防护措施仍处于追赶阶段。这份由Wiz.io发布的研究报告深入剖析了企业如何在云环境中保障AI安全，揭示了AI应用与安全防护之间的差距。报告显示，AI的采用速度已远超安全...

谷歌最新发布的技术论文系统阐述了AI代理在部署过程中面临的核心安全风险，并首次公开其自主研发的多维度防护框架。该研究聚焦模型欺骗攻击、数据泄露漏洞和自主行为失控三大挑战，提出包含动态权限控制、实时行为审...