近日，Genie 2项目公开了其最新进展，旨在打造一个大规模的基础世界模型。Genie 2通过整合大规模语言模型（LLM）与先进的知识嵌入技术，创建了一个能够理解和预测世界运作的复杂系统。这个模型不仅能够处理自然语言...

在人工智能领域，LLMs（大规模语言模型）正逐渐成为研究的热点，尤其在心智理论（Theory of Mind）方面的应用。心智理论是指个体理解他人心理状态的能力，这一概念在社会交往中至关重要。最近，研究者们通过模拟Cher...

Mira Murati，曾任 OpenAI 的首席技术官，近日宣布辞职，令业界感到震惊。她在 OpenAI 的任职期间，推动了多个重要项目的进展，尤其是在人工智能和机器学习领域。Murati 的离开可能会对 OpenAI 的未来发展产生深远影...

Conifer通过引入一个专门的数据集和渐进式学习方法，显著提升了大规模语言模型（LLM）对复杂指令的理解能力。该方法不仅能让LLM在处理复杂任务时表现得更为精准，还能有效减少错误率。专门的数据集涵盖了各类复杂指...

Yuan 2.0-M32是一款具备40亿参数的专家混合模型，其中任意时刻仅有3.7亿参数处于激活状态。尽管其计算需求仅为Llama 3 70B的1/19，但其性能却接近后者。该模型在2万亿个token上进行了训练，展现出了令人惊讶的强大性...

MedLFQA是一个全新的基准数据集，旨在提升大规模语言模型在医疗领域中长篇回答的事实准确性。该数据集通过提供高质量的训练数据，帮助改进语言模型的回答精度。与此同时，OLAPH框架通过自动评估和偏好优化，训练大规...

Meta发布了一款名为ExecuTorch的框架，这是一个后训练量化工具包，能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。ExecuTorch框架的发布，进一...

近年来，随着人工智能技术的飞速发展，越来越多的金融机构开始将自然语言处理技术应用于金融市场分析中。在这方面，LLMs（大规模语言模型）无疑是最受关注的技术之一。LLMs是一种基于深度学习的自然语言处理技术，它...

近期在GitHub上发布的ReFT（Representation Fine-Tuning）项目，为微调语言模型带来了一种新的参数高效方法。与传统的PeFT相比，ReFT在保持强大性能的同时，大大降低了成本。该方法通过精细化调整模型参数，使得在进...

现代语言模型的一个奇特事实是，在训练模型之前，我们首先训练分词器。另一个奇怪的事实是，在大规模场景下，词汇量大小似乎并不是那么重要。本文将深入探讨这两种现象，分析分词器在模型预训练中的角色和影响，以及...