PaliGemma是一款基于SigLIP和Gemma 2B的强大视觉语言模型。这份技术报告详细阐述了在构建PaliGemma过程中的架构选择和数据收集方面所做的决策。SigLIP和Gemma 2B的结合使得PaliGemma在视觉语言建模方面展现出卓越性...

FlashAttention是现代快速语言模型的基础，而最新的FlashAttention 3版本则是其重要的升级。与以前的版本相比，新版本使用了75%的H100容量（相比之前的35%有了显著的提升）。这次的能力提升归因于一系列重要的系统改...

GraphRAG 是一种借助语言模型力量来探索无结构文本的新方法。这是一个在 Azure 上运行的快速启动项目，使得用户能够轻松启动和探索无结构文本。GraphRAG 的核心技术是基于语言模型，可以有效处理、分析并提取无结构...

研究人员已经开发出一个新的框架，该框架将大型语言模型与强化学习相结合，以提高交通信号控制系统的性能。这种新的方法借助AI的能力，使交通信号控制系统能够更有效地管理交通流量，提高道路效率，降低交通拥挤，从...

MobileLLM 是一款新的技术工具，专为设备使用情景优化具有数亿参数的语言模型。这款工具的出现，将大大提高设备上语言模型的效率和性能。其优化能力强大，可以处理具有高达数十亿参数的语言模型，这对于需要在设备上...

Video Self-Training with augmented Reasoning (Video-STaR)是一种新的方法，用于改进大型视觉语言模型（LVLMs）。通过自我训练和增强推理，Video-STaR能够提高模型的学习能力和预测准确性。这种方法的主要优势在于...

近日，一项新的技术研究实现了在无代理的情况下，仅使用语言模型，就能在SWE-bench上实现24%以上的解决率。这一成果对于深化我们对SWE-bench的理解，提高其解决效率具有重要的参考价值。SWE-bench是一款广泛应用于语...

来自康奈尔科技大学的教授和Hugging Face的研究员Sasha Rush，近日做了一场关于使用扩散作为语言建模目标的精彩讲座。在15分钟的视频中，他详细解读了扩散语言模型的核心理念，让我们有机会深入了解这一前沿技术。Sa...