HuggingFace发布了一个轻量级的评估库lighteval，用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标，帮助用户快速准确地评估模型性能。同时，lighteval还提供了丰富的...

香蕉公司正在逐步停止其无服务器GPU业务。该公司已提供了过渡计划和协助离职。这对于该公司的客户和员工将产生重大影响，因为他们需要适应这一变化并重新考虑他们的业务和职业生涯。虽然这可能是令人失望的消息，但...

Tachyum即将开始大规模生产其Prodigy Universal处理器，这是一款多功能处理器，结合了CPU，GPU和TPU的功能，承诺显着提高云计算，高性能计算和人工智能应用的性能。这可能会颠覆AI市场。

本文简要介绍了硬件特定的矩阵乘法优化和一般流程，以加速AI代码。现代深度学习算法中，矩阵乘法是常见的操作。优化矩阵乘法的实现可以显著提高模型的训练和推理速度，进而提高模型的准确性和效率。矩阵乘法优化的主...

本文探讨了模型中存在几乎所有输入都会使用的热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU中，您可以节省内存而不会牺牲太多吞吐量。可以使用配套的代码库。

本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上，您可以节省内存而不会牺牲太多吞吐量。同时，该文提供了一个可用的代码库。

Cerebras是一家人工智能训练芯片制造商，近日发布了一个在其系统上训练大型模型的框架，名为gigaGPT。该框架非常简单易用，不需要将大型模型分割成多个GPU和节点进行训练。

近日，HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时，safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...