Meta的研究团队近日推出了一款新型的优化器，并已在X平台上公开代码及其多种集成方式。这款优化器的独特之处在于它不依赖于学习率（LR）调度，训练过程中无需预先设定总步数。经过实证，该优化器在包括语言模型在内...

YouTube 首席执行官 Neal Mohan 近日表示，使用该平台的视频内容来训练 OpenAI 的 Sora 文本到视频生成器将违反 YouTube 的服务条款。尽管 Neal Mohan 没有直接证据表明此类训练已经发生，但他的声明明确了 YouTube...

OpenAI最近宣布扩大其定制模型计划，通过辅助微调和定制训练模型，帮助企业客户开发适合特定使用场景的生成式AI模型。这一服务的推出，意味着企业可以根据自己的特定需求，获得更加个性化和高效的AI解决方案。生成式...

HuggingFace团队最近展示了如何为语言模型的预训练阶段生成、筛选、合成和扩展大量的合成数据。这一过程不仅涉及数据的生成，还包括对数据进行精心的筛选和过滤，以确保其在模型训练中的有效性和准确性。通过这种方...

Cerebras公司近日推出了其最新款的CS3晶圆芯片，该芯片具备训练高达24T参数语言模型的能力。CS3芯片的发布，标志着在人工智能领域对高性能计算芯片的需求得到了进一步的满足。这款芯片原生支持PyTorch，使得开发者能...

Databricks Mosaic团队在语言模型训练领域不断创新。在最近的一篇文章中，他们讨论了用于fp8训练的训练技术栈，以及通过降低精度所带来的一些优势。fp8作为一种新兴的计算精度格式，能够在保持足够精度的同时，大幅...

最近，Fed3DGS发布了一种基于联邦学习的3D重建框架，该框架采用3D高斯投影（3DGS）技术，能够实现在广阔区域内的去中心化场景构建。这种创新方法不仅提高了3D重建的效率和精确度，还保证了数据处理的隐私性。联邦学...

近日，一项名为Poster Dataset Distillation的技术引起了广泛关注。该技术能够将庞大的数据集压缩成一个单一的'海报'，使得人工智能模型能够通过不到一张每个类别的图片进行学习。这一创新方法大幅减少了训练AI模型...

现代语言模型的一个奇特事实是，在训练模型之前，我们首先训练分词器。另一个奇怪的事实是，在大规模场景下，词汇量大小似乎并不是那么重要。本文将深入探讨这两种现象，分析分词器在模型预训练中的角色和影响，以及...

本文详细介绍了Lamini公司在AMD GPU上进行大型语言模型训练的技术架构。这包括了他们所使用的调度程序、模型训练技术以及其他相关技术细节。Lamini的技术团队选择了AMD GPU作为硬件加速平台，以优化模型训练的性能和...