最新研究发现,在数学问题中插入诸如'有趣的事实:猫一生大部分时间在睡觉'等无关短语,会导致大语言模型的错误应答率较基准水平飙升300%。这种与查询无关的对抗性触发现象具有跨模型规模的迁移性,且蒸馏版模型表现...
Read More近日,研究人员发布了新一代商业级大语言模型Mercury,该模型基于扩散模型技术,采用Transformer架构进行参数化,并能够并行预测多个token。报告重点介绍了Mercury Coder,这是首套专为编程应用设计的扩散大语言模型...
Read More研究人员最新提出了一种创新的神经网络架构预测器,该预测器将图神经网络(GNN)与Transformer架构相结合,通过引入兄弟感知令牌混合器(sibling-aware token mixer)和双向图同构前馈网络(bidirectional graph iso...
Read More最新研究将因果图学习技术成功拓展至回归任务领域,通过创新性地采用对比学习框架优化干预策略,显著提升了图级别回归任务中对混杂变量的处理能力。该技术突破来自arXiv预印本平台的最新论文,其核心价值在于解决了...
Read More近期arXiv平台发布的一篇研究论文对深度学习领域的现象学研究提出重要转向建议。作者团队批判性地指出,当前学界对'顿悟'(grokking)、'双下降'(double descent)等孤立概念的个案分析模式存在局限性,主张建立更具普...
Read More数学软件传统上以相互依赖的"包"形式构建,其中大量采用C++编写,其接口通过头文件(#include)方式暴露给下游用户。这种从C语言继承的接口导出方式存在笨拙、不可靠且效率低下的问题。为此,C++20引入了"模块"系统...
Read MoreFedEDS是一种针对边缘设备联邦学习的新型方案,其创新性地通过客户端间加密数据共享机制,有效解决了数据异构性和物理分布带来的性能瓶颈。该技术突破由arXiv最新研究论文披露,通过同态加密和分布式密钥管理,在保...
Read MoreMeta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新,通过名为Dynamic Tanh(DyT)的逐元素操作替代传统归一化层,使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...
Read More