这个代码库引入了一种新型的Transformer变压器，其KV缓存大小大幅度减少。虽然尚未在大规模上得到证实，但理论上，它可以匹配常规变压器的性能。这意味着，我们现在有了一种新的工具，可以在处理复杂的计算问题时，...

近期，一项新的研究将网络文本视为来自某种“人格”，并以此作为条件，显著提高了下游任务的性能。研究人员发现，在数学领域，这种方法使性能提升了20个百分点。这项研究的方法是通过大规模网络文本数据，创造出约10亿...

这是一篇关于在扩展模型和数据集大小时调整超参数的极好且易于理解的文章。在大数据时代，如何有效地处理和分析庞大的数据集，是当前科技行业面临的一大挑战。本文主要介绍了使用muP进行规模扩展的技术方法。muP是一...

Anthropic最近推出了Claude 3.5 Sonnet，其在多项基准测试中的性能超过了GPT-4o和Gemini，同时增加了速度和扩展了功能。此次更新还引入了Artifacts功能，增强了用户与AI输出的交互。Claude旨在从一个聊天机器人转变...

PyTorch是构建模型的强大工具。然而，在实际使用中，一些常见的bug可能会大幅降低模型的性能。为此，我们提供了一份实用的列表，帮助您在调试模型代码时找到问题并解决。该列表内容详尽、实用性强，无论是在建模过程...

纽约大学（NYU）最近推出了一种全面公开、性能卓越的视觉模型Cambrian-1。此模型对文本编码器和数据混合进行了大规模的消融研究。这一技术的开发，将对视觉模型的研发产生深远影响，推动相关技术向前发展。全面开放...

Llama Agents是一个以异步为首的框架，用于构建、迭代和生产多智能体系统，包括多智能体通信，分布式工具执行，人在环中等等。Llama Agents的目标是提供一个强大、灵活且易于使用的框架，以支持开发者在各种场景中快...

Mosaic团队已与PyTorch合作，撰写关于如何扩展他们的MoEs模型至数千个GPU的文章。MoEs，全称Mixture of Experts，是一种深度学习的模型结构，其核心思想是将复杂的问题分解为若干个相对简单的子问题，然后由专家系统...