人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。

SegMamba是一种专为3D医学图像分割设计的模型，它提供了一种比Transformer架构更高效的替代方案。SegMamba采用全卷积神经网络架构，可以对3D医学图像进行有效的分割，尤其是在肿瘤分割方面表现出色。与传统的医学影...

本文将深入探讨热门的《transformer数学101》文章，以及基于transformer架构的高性能分布式训练。变形金刚模型已经在深度学习领域广泛应用，其强大的处理能力和优异的性能表现赢得了业界的一致好评。然而，对于这种...