近日，Meta公司公布了一篇关于其如何规模化训练大型语言模型的论文。该论文详细介绍了Meta公司的训练方法，该方法可以同时训练多达14亿个参数的语言模型。该规模远超以往的语言模型训练规模，并且可以在更短的时间内...

在自然语言处理（NLP）中，分块是指将句子分成更小的组块（块）的过程，每个块都有自己的语法和含义。在RAG（Retrieval-Augmented Generation）应用程序中，分块是生成响应的重要步骤。不同于传统的基于规则或基于统...

XRec是一种模型无关的框架，它利用大型语言模型的语言能力来增强可解释推荐系统。该框架的核心在于通过自然语言处理技术，为用户提供更透明和易理解的推荐理由。这不仅提升了用户对推荐系统的信任度，还为开发者提供...

近日，NX-AI宣布发布了他们的xLSTM代码。xLSTM是一种基于LSTM的模型，用于处理序列数据的分类和回归问题。与传统的LSTM相比，xLSTM具有更好的性能和效率。这个代码的发布将使更多的人能够使用xLSTM，并将其应用于各...

训练语言模型需要数万亿高质量的标记数据。关于这些数据集构建的信息大多未公开。然而，FineWeb团队在一篇精彩的博文中讨论了不同的数据集清理和过滤策略。文章的作者们发布了许多顶级的数据集，用于语言模型训练。...

Conifer通过引入一个专门的数据集和渐进式学习方法，显著提升了大规模语言模型（LLM）对复杂指令的理解能力。该方法不仅能让LLM在处理复杂任务时表现得更为精准，还能有效减少错误率。专门的数据集涵盖了各类复杂指...

近日，计算机科学家们推出了一款名为Llama 3-V的新型人工智能模型，其与GPT4-V性能相当，但模型大小只有GPT4-V的1/100。与GPT4-V的高昂价格相比，Llama 3-V仅需500美元即可获得。这款新型模型可以应用于自然语言处理...

评估语言模型一直以来都是一个复杂的任务，尤其是在大多数评估细节都只存在于大型公司内部的情况下。这篇论文展示了一套可重复且强大的评估标准，为研究人员提供了一个实用的框架。论文中包括了对困惑度评估的详细讨...