近期，人工智能研究的重点从单纯的准确性和广度转向了效率和深度。英伟达的H100销售和AI能源的不断增长凸显了该行业的规模。投资要求盈利，将研究重点转向了像Phi 2这样更小、更高效的模型，并强调从模型架构到部署...

MobileVLM V2是一系列为移动设备量身打造的先进视觉语言模型，通过创新的架构展示了显著的性能提升。新的MobileVLM V2拥有更快的推理速度，更高的准确性和更广泛的应用场景。MobileVLM V2不仅支持图像和文本之间的交...

Roblox开发了一种AI模型，能够实时翻译16种语言的文本聊天，以打破语言壁垒，增强用户参与度。该模型利用基于转换器的大型语言模型，在混合专家架构中实现了高效的资源利用，同时保持了其隐私和安全流程。

谷歌展示了一种潜在的一致性扩散模型，并进行了一些架构上的改变。该模型在移动设备上进行了训练，具有亚秒级的生成时间。

3D对象生成的一个关键挑战是可以创建的物品的多样性。本研究使用修改后的架构来提高样本效率，并将系统扩展到可以处理每个3D类别中更大的对象集。

RWKV是主流Transformer模型的一种架构替代方案。它使用一种新颖的线性注意力机制，使其极其高效。这个新的检查点和配置是在1T令牌上训练的，超越了许多其他功能强大的基于7B Transformer的模型。

LLMs from Scratch是学习如何从零开始构建语言模型的一组不完整但有前途的任务。该仓库提供了构建自然语言处理模型所需的基本知识，包括基础数学和机器学习理论，以及一些常见的语言模型架构和实现代码。通过完成这...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。