大型语言模型(LLM)推理过程中的非确定性问题正成为制约科学研究可重复性的关键障碍。即使将温度参数调整为0(贪婪采样模式),ChatGPT等模型仍无法保证输出结果的确定性。这种现象不仅存在于API服务中,即使在本地...
Read MoreMozilla近日宣布对Firefox浏览器的AI运行时进行重大架构升级,将原本基于WebAssembly的“onnxruntime-web”替换为直接集成到浏览器底层的原生C++ ONNX Runtime。这一技术革新使Firefox的本地AI功能获得2-10倍的推理性...
Read More英伟达正式推出全新Rubin CPX GPU,该芯片专为处理超过100万token的超长上下文窗口而设计,标志着人工智能推理基础设施迈向新阶段。采用“分解式推理”架构理念,Rubin CPX针对视频生成、复杂软件开发等长序列上下文任...
Read More人工智能领域迎来重大战略整合——Smol AI创始人Shawn Wang正式加入Devin AI软件工程师的创造者Cognition团队。根据协议,Wang在Smol AI的绝大部分股权及投资资本将转入Cognition,标志着两家尖端AI企业的技术资源与资...
Read More据《金融时报》报道,OpenAI已与美国芯片巨头博通达成合作,双方将共同设计专用于人工智能计算的芯片,并计划于2025年投入生产。OpenAI已承诺投入100亿美元用于芯片订单,这些芯片将完全用于其内部AI模型训练与推理...
Read More研究人员通过前沿AI技术实现了重大突破:利用自主生成的Metal GPU内核,将PyTorch在苹果设备上的推理速度平均提升1.87倍。这项研究测试了215个PyTorch模型,其中部分工作负载甚至达到基线性能的数百倍加速。该技术采...
Read More作为图神经网络(GNN)的共同创建者,斯坦福大学背景的专家最新指出,图Transformer正在成为结构化数据处理的新范式。该技术通过注意力机制替代传统消息传递方式,能够更有效地建模关系型数据中隐含的图结构。企业核...
Read More最新研究通过机制可解释性方法深入解析了基于Transformer架构的大语言模型(LLM)的工作原理。研究表明,LLM并非简单的统计预测器,而是通过形成涌现电路结构来实现复杂任务处理。这些电路整合了学习统计规律、信息传...
Read More