Roblox开发了一种AI模型，能够实时翻译16种语言的文本聊天，以打破语言壁垒，增强用户参与度。该模型利用基于转换器的大型语言模型，在混合专家架构中实现了高效的资源利用，同时保持了其隐私和安全流程。

谷歌展示了一种潜在的一致性扩散模型，并进行了一些架构上的改变。该模型在移动设备上进行了训练，具有亚秒级的生成时间。

3D对象生成的一个关键挑战是可以创建的物品的多样性。本研究使用修改后的架构来提高样本效率，并将系统扩展到可以处理每个3D类别中更大的对象集。

RWKV是主流Transformer模型的一种架构替代方案。它使用一种新颖的线性注意力机制，使其极其高效。这个新的检查点和配置是在1T令牌上训练的，超越了许多其他功能强大的基于7B Transformer的模型。

LLMs from Scratch是学习如何从零开始构建语言模型的一组不完整但有前途的任务。该仓库提供了构建自然语言处理模型所需的基本知识，包括基础数学和机器学习理论，以及一些常见的语言模型架构和实现代码。通过完成这...

该项目提出了一种新颖的增强Transformer的方法，使用来自不同模态的无关数据，例如使用音频数据来改善图像模型。多模式路径独特地连接了两种不同模态的Transformer，使目标模态能够从另一种模态的优势中受益。

SegMamba是一种专为3D医学图像分割设计的模型，它提供了一种比Transformer架构更高效的替代方案。SegMamba采用全卷积神经网络架构，可以对3D医学图像进行有效的分割，尤其是在肿瘤分割方面表现出色。与传统的医学影...

近日，研究人员推出了一种名为SpeechGPT-Gen的新语音合成模型，该模型能够高效地处理语言和声音特性的复杂性。SpeechGPT-Gen是一种基于GPT-2架构的语音合成模型，通过对大量语言数据进行训练，使得模型能够预测下一...