微软近日发布了Minference，这是一款能够显著提升支持模型推理速度的系统。通过一系列系统性的改进，Minference能够在不损失准确性的前提下，大大提升模型的推理速度。这一创新举措显示了微软在人工智能领域的巨大投...

CELLO是一种全新的数据集，包含了14,094个因果问题，旨在提升AI对因果关系理解的能力，超越了常识推理的层次。这个数据集的构建，旨在推动AI技术在处理更复杂问题时，具有更深沉的因果关系理解。由此，可以有效提升...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

在MLX中实施批量并行KV缓存，导致合成数据生成和模型完成的推理时间显著提速。这种新的技术实现方式大大加快了处理速度，从而在Mac上每秒可以处理1300个Token。这一突破性的技术进步，不仅可以提高处理效率，同时也...

Anthropic是一家专注于研究尖端AI系统并开发新安全方法的初创公司，与OpenAI形成竞争，提供强大的工具供公众和企业使用。最近，Anthropic发布了其Claude聊天机器人的最新版本——Claude 3.5 Sonnet，该版本在推理、编...

OpenAI的下一代人工智能模型GPT-5预计将比当前的GPT-4更加智能。据透露，该模型的发布尚需至少一年半的时间。GPT-5将具备先进的记忆和推理能力，部分任务的处理智能将达到博士学位水平。OpenAI首席技术官Mira Murati...

Character AI是一家知名的人工智能公司，其每秒可处理20,000次查询，这一数据相当于Google搜索量的20%。为了能够高效运行，Character AI团队进行了一系列的创新性改进。这些改进不仅提高了系统的运行效率，还提升了...

蜥蜴（Chameleon）是一个早期融合模型，它能同时操作图像和文本标记。其团队几周前发布了这篇论文。现在，他们已经发布了模型检查点以及推理代码。这一模型的发布，标志着图像和文本融合技术的新进展，同时，它的开...

Mistral.rs是一款基于Rust的推理框架，其最新版本已经上线。这款框架在最新的版本中实现了性能的重大提升，增加了GGUF支持，并带来了更多其他改进。Mistral.rs是专为机器学习和人工智能研究者设计的一款强大工具，其...

TrainAllInfAttn是一种能够在数据稀缺的专业领域提升大语言模型表现的方法。随着人工智能技术的不断发展，如何在数据有限的情况下仍能保持模型的高效性和准确性成为了一个重要的研究方向。TrainAllInfAttn通过优化模...