GitHub最新开源项目Anemll（Artificial Neural Engine Machine Learning Library）引发开发者社区广泛关注，该项目实现了在苹果设备神经引擎(ANE)上高效运行大语言模型(LLMs)的技术突破。作为专为ANE优化的机器学习...

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架，通过创新性地利用LLM权重中BFloat16格式的低熵特性，实现了30%的模型体积缩减，同时保持输出结果与原始模型的比特级一致性。该技术采用...

ARC Prize基金会近期采用ARC-AGI基准对OpenAI最新发布的o3-medium和o4-mini模型进行了系统评估。测试结果显示，o3-medium在基础版ARC-AGI-1测试中表现突出，但在需要高阶推理能力的ARC-AGI-2挑战集上未能取得突破性...

一项突破性研究提出通过预计算上下文相关量来降低大型语言模型(LLM)推理成本的新方法。该技术利用模型空闲时间预先处理可能用到的上下文信息，在用户查询到来时能直接调用预计算结果。实验数据显示，这种方法可节省...

M1是一种基于Mamba架构的推理模型，通过扩展测试时间计算进行训练。虽然尚未完全达到最先进模型的水平，但M1在长上下文处理和高吞吐量任务中表现出色。这一突破为大规模语言模型的推理效率提供了新的研究方向，特别...

OpenAI正式推出新一代o3和o4-mini模型，标志着大语言模型在功能整合与推理效率上的重大突破。该系列模型通过深度融合网络搜索、文件解析及图像生成三大核心能力，显著提升了ChatGPT的复杂任务处理水平。技术层面，o4...

OpenAI近日将其内部研发的高性能计算核心——FP4（4-bit浮点）与MoE（混合专家）系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展：FP4作为新兴的低精度计算格式可显著提升...

近日，FlexPrefill技术通过动态调整稀疏注意力模式和计算预算，显著提升了大型语言模型（LLM）的推理效率。该技术通过查询感知模式确定和累积注意力索引选择，优化了长序列处理的速度和准确性。FlexPrefill的核心在...