Cohere近日推出了专为大规模生产而优化的RAG（Retrieval-Augmented Generation）模型Command-R，并宣布将该模型引入NVIDIA新推出的API目录。Command-R模型结合了检索与生成技术，能够助力企业快速进入大规模生产环境...

GritQL是一个用于搜索和修改源代码的声明式查询语言，它利用Rust语言和查询优化技术，能够扩展至超过1000万行代码的庞大代码库。GritQL内置模块系统包含超过200种标准模式，支持对多种目标语言进行重写，包括JavaScr...

近期研究表明，人工通用智能（AGI）的发展可能并未如预期那般顺利。尽管投入了更多的资源，像GPT-4这样的大型语言模型（LLMs）却表现出硬件扩展的极限，收益递减的现象。这意味着，随着模型规模的扩大，其性能提升的...

现代语言模型的一个奇特事实是，在训练模型之前，我们首先训练分词器。另一个奇怪的事实是，在大规模场景下，词汇量大小似乎并不是那么重要。本文将深入探讨这两种现象，分析分词器在模型预训练中的角色和影响，以及...

尽管AR/VR/MR技术尚未大规模进入市场，仍处于S曲线的起始阶段，Vision Pro的组件距离适应Quest 3的尺寸、重量和价格还有数年之遥。Vision Pro本质上是一个高度完善的原型或开发工具包，而非面向消费者的成品。虽然这...

本文详细介绍了Lamini公司在AMD GPU上进行大型语言模型训练的技术架构。这包括了他们所使用的调度程序、模型训练技术以及其他相关技术细节。Lamini的技术团队选择了AMD GPU作为硬件加速平台，以优化模型训练的性能和...

Cappy是一款小型模型，专门设计用于接收指令和候选完成，然后为完成度打分，以衡量其完成指令的程度。在这项任务上，Cappy的表现超越了许多更大的模型，这表明它可能作为训练和生成过程中的一个反馈机制。Cappy的成...

下一代增强现实、混合现实和虚拟现实头盔的关键在于极高像素密度。更多像素意味着更逼真的视觉效果和更小、更紧凑的显示器。在此规模上构建显示器会导致独特的技术难题，行业仍在努力克服。本文探讨了该领域的技术发...

最近，一种基于Mamba竞争对手的DNA序列预测模型被开发出来。这个模型不仅非常高效，而且拥有强大的预测能力，而且模型规模非常小。目前，该模型已经在DNA测序领域得到了广泛的应用。

本文介绍了Meta的两个版本的24,576 GPU数据中心规模集群的详细信息。这些集群支持公司当前和下一代AI模型以及GenAI和其他领域的AI研究和开发。Meta的长期愿景是建立一种人工智能，这种人工智能是开放的，建立在可负...