亚马逊开始进入开源LLM领域，推出RoPE微调Mistral 7B模型，支持长文本上下文。该模型可在上下文中扩展至32k个令牌，可用于各种自然语言处理任务，例如问答和文本生成。RoPE是亚马逊开发的一种新的训练技术，可提高大...

最近的一项研究引入了一种名为“从错误中学习”（LeMa）的方法，通过从错误中学习来教授大型语言模型解决数学问题，类似于人类学生通过纠正错误来提高自己。

近期，研究人员深入探究了多模态大型语言模型（MLLMs）中使用的视觉编码器，并发现CLIP和DINO模型中的某些特征特别适合于详细的视觉任务。他们随后引入了COMM，一种结合了两种模型优点的策略。COMM能够显著提高LLMs...

Magnetic是一个用于轻松集成大型语言模型到Python代码的库。 这个名为Magnetic的库是由NLP引擎提供商Hugging Face发布的。基于Transformers，Magnetic允许您轻松地将大型语言模型集成到您的Python代码中，以进行各种...

MosaicML发布了一篇关于使用AMD GPU进行大型语言模型训练的文章。该公司在本文中介绍了他们的最新研究结果，使用AMD Radeon Instinct MI100 GPU对GPT-2、GPT-3和T5等大型语言模型进行了训练。结果显示，使用AMD GPU...

在最新的研究中，科学家们介绍了一种名为LLM-FP4的新型方法，该方法能够通过在训练后将大型语言模型的权重和活动转换为4位浮点值，实现对其进行压缩。这种技术的创新之处在于，它不仅能够显著减少模型的存储需求，还...

本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...

Cola是一个使用大型语言模型来协调各种视觉语言模型（VLM）以改进视觉推理的系统。该代码库已经在GitHub上发布。

本研究评估了大型语言模型（LLMs）在进行类似于人类的多轮对话时的能力。研究人员使用了一种名为Persona-Chat的数据集，该数据集包含有关对话参与者偏好和兴趣的信息。研究结果表明，LLMs在某些方面表现出了与人类类...

尽管有人声称MathGLM可以解决数学问题，但实际上它仍然无法胜任这项任务。这一现象凸显了仅仅依赖于大型语言模型的局限性。近年来，基于神经网络的自然语言处理技术取得了长足进步，但在某些特定领域，仍然需要更为...