MUSE是一种使用Transformers的掩蔽图像生成模型。HuggingFace和Stability AI已经合作开源复现该模型，并发布了训练代码、模型检查点和论文。虽然这些模型的训练时间不如一些最好的图像扩散模型长，但它们显示出了很...

BERT是一种仅有编码器的Transformer。这意味着它通常用于以嵌入形式表示自然语言，而不是用于生成文本。重要的是，它是最早用于搜索的Transformer之一，因为它可以表示查询和要检索的信息。Mosaic团队集成了FlashAtt...

MossFormer2模型是MossFormer的改进版，该模型在单声道语音分离方面具有更好的性能。在MossFormer2中，通过引入一个基于复数的非线性激活函数和一个基于深度可分离卷积的上下采样结构，从而提高了模型的分离能力。此...

Mamba的创建者（以及许多其他模型）发布了一篇很专业的博客文章，概述了基本的序列混合架构，相对于标准Transformer，可以获得相当大的速度提升。该团队的新模型使用了这种混合方法，并且获得了非常好的性能。这种新...

Transformer模型虽然强大，但是由于其不稳定性，训练起来常常会很困难。其中一个主要的问题是注意力矩阵的熵崩溃。本文介绍了一种通过简单的重新参数化来防止熵崩溃的方法。

SwitchHead是使AI模型更高效的突破。它减少了Transformer的内存和计算需求，同时不会降低性能。SwitchHead是一种新颖的神经网络结构，可以在不丢失性能的情况下，将一个大型Transformer模型拆分为多个小型Transforme...

微软的最新模型现已在HuggingFace上提供研究用途。Phi-2是一种基于Transformers的语言生成模型，它被训练用于生成各种文本，包括问答、对话和自然语言生成。该模型采用的是自回归模式，即在生成下一个单词或字符时，...

近日，HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时，safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...