Kyutai，一家法国的开放研究实验室，成功地训练出一款具有极低延迟的纯音频LLM。他们成功地创建了一个令人印象深刻的演示，将在未来几个月内开源。Kyutai的这项工作表明，纯音频LLM的实现并不遥不可及，只是需要在技...

MM-Instruct是一个大规模数据集，旨在提升大型多模态模型（LMMs）的指令跟随能力。这个数据集集合了大量的指令和相关的视觉内容，帮助模型更好地理解和执行人类的指令。通过这种方式，MM-Instruct能够为多模态模型提...

LLaRA是一个使用大型语言模型（LLM）来通过对话式的指令-响应对提高机器人行动政策的框架。通过整合视觉输入，这些视觉语言模型（VLM）处理状态信息并生成最优的政策决策。LLM的使用增强了机器人的理解和应对能力，...

Mako 是一款专业级的网页打包工具，其以 Rust 语言编写，提供极速的打包性能，广泛受到企业级应用的青睐。Ant Group 以及开源项目 Umi 和 Father 都选择了 Mako 进行 Web 应用和网站的打包工作。Mako 的设计目标是简...

在众多的模型中，大多数都不能遵循长度要求，例如少于40个词。然而，最近的研究显示，我们可以通过调优使它们达到这样的要求。这项工作的关键在于调整模型的参数，使其能够根据要求生成特定长度的输出。这一发现可能...

这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

近期，一项新的研究将网络文本视为来自某种“人格”，并以此作为条件，显著提高了下游任务的性能。研究人员发现，在数学领域，这种方法使性能提升了20个百分点。这项研究的方法是通过大规模网络文本数据，创造出约10亿...

这是一篇关于在扩展模型和数据集大小时调整超参数的极好且易于理解的文章。在大数据时代，如何有效地处理和分析庞大的数据集，是当前科技行业面临的一大挑战。本文主要介绍了使用muP进行规模扩展的技术方法。muP是一...

Anthropic最近推出了Claude 3.5 Sonnet，其在多项基准测试中的性能超过了GPT-4o和Gemini，同时增加了速度和扩展了功能。此次更新还引入了Artifacts功能，增强了用户与AI输出的交互。Claude旨在从一个聊天机器人转变...

PyTorch是构建模型的强大工具。然而，在实际使用中，一些常见的bug可能会大幅降低模型的性能。为此，我们提供了一份实用的列表，帮助您在调试模型代码时找到问题并解决。该列表内容详尽、实用性强，无论是在建模过程...