近日，Reka和Google的Yi Tay发表了一篇精彩的文章，详细讲述了编码器、prefixlm、降噪目标等现代语言建模技巧。在这篇文章中，Yi Tay详细分析了一些对于语言建模领域的最新的研究成果和思考。他深入剖析了编码器的工...

Hugging Face近日推出了一套名为SmolLLM的小型语言模型套件，其性能超越许多大型模型。这主要得益于数据集的精心策划和管理。SmolLLM以其精细的设计和优化，展示出了小型语言模型的巨大潜力和价值。这种模型不仅在处...

Mistral最近成功训练出了一个名为Mamba 2的代码模型，该模型在长文本环境下具有极高的性能，而且在HumanEval上的表现也达到了75%。Mamba 2的出现，标志着Mistral在人工智能和机器学习领域取得了重大突破，这也为未来...

Open-Canopy是一个公开可获取的高分辨率（1.5米）数据集，用于估算法国各地的森林冠层高度。这个数据集的出现，为森林监控提供了更为精准的工具，使我们能够更为准确地了解森林的生长状况和健康程度。同时，Open-Can...

近日，研究人员提出了一种新的方法——标签驱动的自动提示调整(LAPT)，用于视觉语言模型如CLIP的异常值检测。这种新方法可以自动识别出数据集中的异常值，提高模型在处理各种情况时的灵活性和准确性。通过LAPT，可以更...

全球社交巨头Facebook在其软件开发过程中，并非采用Git版本控制系统，而是选择了Mercurial。这一决定背后的原因主要源于Git在处理Facebook庞大代码库时的性能问题。尽管Facebook曾使用Git，但随着时间的推移，Git提...

梯度提升强化学习（GBRL）成功地将梯度提升树（GBT）的优势引入到强化学习领域。GBT是一种迭代决策树算法，可以优化损失函数，GBRL将这种方法应用于强化学习中，以提升其性能和效率。通过使用GBT的优势，GBRL能够提...

近日，Answer AI 发布了一个新的轻量级和便携式图形处理器（GPU）计算库，该库基于WebGPU构建。这个新的库可以用于编写跨 GPU 内核，并提供可移植的指令。WebGPU 是一个全新的 Web API，它旨在为现代图形和计算应用...

MARS是一种全新的文本到图像(T2I)生成框架，它引入了语义视觉-语言集成专家(SemVIE)的特征。这种新型框架的主要目标是改进现有的T2I生成技术，使其能更好地理解和处理复杂的视觉语言任务。借助SemVIE，MARS能够实现...

AuraFlow是由Fal训练的全新开放模型。这款模型采用了muP进行训练，是一款拥有58亿参数的模型。AuraFlow的开发标志着Fal在人工智能领域的又一次重大突破，展示了其强大的技术实力和深厚的研发能力。此次训练使用的muP...