MosaicML发布了一篇关于使用AMD GPU进行大型语言模型训练的文章。该公司在本文中介绍了他们的最新研究结果，使用AMD Radeon Instinct MI100 GPU对GPT-2、GPT-3和T5等大型语言模型进行了训练。结果显示，使用AMD GPU...

芝加哥大学的研究人员开发了一种工具，让艺术家可以给他们的艺术作品添加不可见的变化，这会导致AI模型训练失败。这个工具旨在防止AI公司未经许可使用艺术家的作品。这个叫Nightshade的工具将被集成到Glaze中，Glaze...

大规模训练中的不稳定性对于大多数研究人员来说很难复制。一项新论文展示了如何在小模型中重现这些不稳定性，并验证了许多常见的修复方法在这些小模型上同样有效。该论文的作者认为，这样做有助于提高大规模训练的可...

Libgen是许多封闭模型中的数据集。虽然这个数据集的商业使用合法性存在争议，但研究人员仍在使用它来更好地了解语言模型训练数据质量。这个开源的GitHub代码库旨在将Libgen转换为txt文本文档的形式，以便更方便地进...

训练优秀的视频模型通常需要巨大的资源，这种需求往往超出了学术界的承受范围。现在，研究人员已经找到了一种方法，只需要使用一台配备八个标准GPU的机器，在一天内就能完成这些模型的训练。这意味着，我们不再需要...

模型通常针对特定任务（例如，语言生成和图像生成）进行单独训练。然而，最近提出的一种名为联合自回归混合（JAM）的算法，通过巧妙地交叉注意力和温和的微调，成功地将不同的模型结合在一起。这种新颖的方法在多种...

LayoutLM是一个擅长阅读商业文件的模型，现在它变得更聪明了。该模型通过两种新的训练方式进行改进，一种是帮助它理解复杂的布局，另一种是获取正确的数值。LayoutLM的出现，让我们可以更有效地处理和理解商业文件，...

语言模型在训练过程中，通常会遇到一种情况，即当模型训练的内容是“A是B”时，它并不能自动推断出“B是A”。这一发现对当前的语言模型（LLMs）提出了挑战和质疑，因为我们通常会期待模型能够自动推断出这样的逻辑关系。...

这项研究的重点是使已经擅长理解和生成文本的大型语言模型，在回答医学问题方面表现得更好。大型语言模型（LLMs）已经在很多领域包括医学领域显示出了巨大的潜力，然而，尽管如此，它们在理解和回答具体的医学问题方...

通常情况下，语言模型的输入和输出嵌入层是捆绑在一起的。然而，如果您将输入嵌入与模型内部的其他嵌入捆绑在一起，并使用对比损失，您可以在实际运行时间和最终基准准确度上获得显著改善的性能。这种方法的关键在于...