月之暗面(MoonshotAI)团队最新发布的Kimi K2技术报告揭示了其大型语言模型系列的重大技术突破。该团队创新性地开发出MuonClip技术,通过将token高效的Muon优化器与新型QK-Clip技术相结合,成功解决了万亿参数模型训...
Read More最新研究发现,随着AI模型规模的扩大和智能的提升,它们正在向信息的通用表示方式收敛。这一现象被称为'柏拉图表示假说',认为由于现实的单一性,模型会学习到越来越相似的数据特征和关系。该假说的一个实际应用是开...
Read More最新研究发现,在数学问题中插入诸如'有趣的事实:猫一生大部分时间在睡觉'等无关短语,会导致大语言模型的错误应答率较基准水平飙升300%。这种与查询无关的对抗性触发现象具有跨模型规模的迁移性,且蒸馏版模型表现...
Read MoreEpoch AI最新研究显示,人工智能领域正经历前所未有的计算规模扩张。2024年全球已追踪到201个计算量超过10²³ FLOPs的AI大模型,较2017年仅有的2个实现指数级增长。尤其值得注意的是,以GPT-4为代表的顶尖模型已突破1...
Read More人工智能公司MiniMax在GitHub开源了其4560亿参数规模的推理模型M1,该模型采用创新的混合专家架构(MoE)并引入'闪电注意力'技术,实现百万token级别的超长上下文处理能力(相当于DeepSeek R1的8倍)。特别值得注意...
Read More苹果公司研究团队通过定制化谜题环境对大型推理模型(LRMs)进行了系统性评估,揭示了人工智能推理能力的重要局限性。研究发现,随着任务复杂度提升,LRMs会经历推理效能先上升后急剧下降的拐点现象,最终在高度复杂任...
Read More微软近日发布了Phi-4-reasoning系列变体,这一创新标志着小型语言模型(SLMs)在效率与复杂推理能力上的重大进展。Phi-4-reasoning通过算法优化和架构改进,在保持参数规模精简的同时,实现了接近大型语言模型(LLMs...
Read More近期,SilentView团队在GitHub开源了名为GigaTok的超大规模图像分词器项目,其参数量高达30亿(3B),在图像重建任务中展现出卓越性能。传统图像分词器在规模化过程中常面临性能崩溃问题,而GigaTok通过创新的解码器...
Read More