近日，TabLiB 800B发布，这是目前最大的公开表格数据集，包括了6.27亿张表格和8670亿个上下文信息的令牌。这个数据集的发布旨在鼓励社区构建更好地理解表格数据的大型数据模型。此外，该数据集还包含了来自不同领域...

在多GPU和多节点系统上训练语言模型存在多种挑战，且在这些场景下积累经验也非常困难。本篇博客文章详尽深入地研究了ZeRO，FSDP，以及在大规模训练或微调模型时可能遇到的问题。我们需要理解，进行分布式训练并不仅...

本文列出了程序员应了解的云计算成本清单，并对成本进行了详细的分解。了解这些数字将有助于程序员为各种不同的项目进行快速成本估算。他们只需要了解项目的架构和规模，就可以计算出一个大致的成本，而不需要任何复...

将大规模语言模型（LLMs）比作一个庞大且复杂的拼图，每一块拼图都代表一份知识。这篇论文研究了我们尝试改变其中一些知识碎片会发生什么情况。结果可能会导致整个拼图被破坏，或者使其变得模糊不清。知识编辑在LLMs...

最近的研究表明，为ViTs注册器添加[reg]标记可以修复图像注意力映射的突增。这项工作表明，将一系列可学习的[pause]标记预置到序列中可以提高语言模型推理（仅解码器，最高可达10亿）的能力，最多可提高18%。直观上...

大多数自动驾驶系统都是基于规则的、专家系统和学习模块的大规模组合。Wayve公司的最新研究展示了一个具有90亿参数的联合视频、动作和文本模型，该模型在多样化的场景中表现出色。这个模型通过学习和理解大量的驾驶...

重新构建大型3D场景，特别是在一些数据缺失的情况下，对于自驾车来说至关重要。这种名为PC-NeRF的新方法，通过结合两个模块来优化多层次的重建，即使在数据不完整的情况下，也能确保3D模型的详细程度。PC-NeRF的两个...

OpenCompass是一款免费的工具，旨在快速有效地测试大型模型。它的开源特性意味着任何人都可以对其进行修改和优化，以满足特定的需求。OpenCompass的核心优势在于其能够处理大规模的模型，这使得它在处理复杂的机器学...

语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...

Meta公司新推出的Emu图像生成模型已在用户偏好调查中超越SDXL。Emu模型是在11亿图像对上进行预训练的，只在几千张精心策划的图像上进行了微调。此模型将作为Meta新AI助手计划的主要支柱。Emu的高效性能，证明了大规...