MoAI是一种新型的大型语言和视觉模型，它通过整合专门的计算机视觉任务的辅助视觉信息来增强当前模型。该模型在 GitHub 上发布，旨在改善自然语言处理和计算机视觉任务之间的互动。MoAI使用了一种新的训练方法，可以...

近日，一项新的研究挑战了结合监督微调和强化学习的训练方法的有效性。研究表明，在初始训练中使用更先进的模型（如GPT-4）可以优于更复杂的两步方法。这一研究的开源代码已经发布到GitHub上，供科研人员使用和参考...

自然语言处理（NLP）中，让语言模型生成自己的训练数据是一个具有挑战性但前景广阔的研究领域。SPIN是一种方法，已经显示出很大的前途。该代码已经发布，但据报道使用起来很有挑战性。

研究人员探索了一种名为异步Local-SGD的新的语言模型训练方法。这种方法是联邦平均的一种变体。

以往认为难问题需要难数据，但这些数据很难标记且带噪音。这项研究表明，对相关但易处理的数据进行微调训练，可以极大提高模型解决难问题的能力。这是支持微调训练是引出知识而非添加知识的又一数据点。本研究成果对...

去年最好的编码模型之一是DeepSeek LLM。它在许多基准测试中接近GPT-3.5（即使它可能是3倍大小）。有关模型训练，令牌计数，模型架构等的信息已在技术报告中发布。DeepSeek LLM是一种基于语言模型的编码器，它使用自...

Transformer模型虽然强大，但是由于其不稳定性，训练起来常常会很困难。其中一个主要的问题是注意力矩阵的熵崩溃。本文介绍了一种通过简单的重新参数化来防止熵崩溃的方法。

LLaVa是一种从文本模型训练多模型的方法。现在它可以用于视频。基于Vicuna的结果模型非常强大，可以轻松实现视频摘要和字幕的最新表现。