研究人员发现了一种方法，可以在无需进行矩阵乘法（MatMul）的情况下，依然保持大型语言模型的强大性能，甚至在参数规模达到数十亿时仍然有效。这一突破性技术有望显著提高计算效率，减少资源消耗，并为未来的AI模型...

近日，NX-AI宣布发布了他们的xLSTM代码。xLSTM是一种基于LSTM的模型，用于处理序列数据的分类和回归问题。与传统的LSTM相比，xLSTM具有更好的性能和效率。这个代码的发布将使更多的人能够使用xLSTM，并将其应用于各...

TrainAllInfAttn是一种能够在数据稀缺的专业领域提升大语言模型表现的方法。随着人工智能技术的不断发展，如何在数据有限的情况下仍能保持模型的高效性和准确性成为了一个重要的研究方向。TrainAllInfAttn通过优化模...

Mamba团队发布了Mamba-2，这是他们强大的状态空间模型的第二个版本。Mamba-2在前一版本的基础上进行了多项改进，显著提升了模型的性能和稳定性。该团队还提供了一份详细的说明文档，详细介绍了Mamba-2的技术细节和具...

Google Cloud近日宣布推出Claude 3 Opus，这一新模型将作为其Vertex AI产品的一部分，进一步增强其人工智能工具的应用能力。Claude 3 Opus不仅仅是一个升级版本，它还包括了多种小型模型，能够更加灵活和高效地处理...

muP 是一种被所有前沿模型实验室广泛使用的强大工具，用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型，从而显著提升训练性能，同时降低计算成本。通过muP，研...

研究人员开发了一种名为随机颜色擦除的新学习策略，旨在解决计算机视觉中的颜色偏差问题。该方法通过从训练数据中选择性地移除颜色信息，平衡颜色与其他特征的重要性，从而提高模型在复杂场景中的表现，如广域监控和...

据报道，Nvidia正在准备一款系统芯片（SoC），该芯片将Arm的Cortex-X5核心设计与基于Nvidia Blackwell架构的GPU相结合。这一组合旨在提升人工智能计算性能，为PC提供更强大的AI处理能力。Nvidia的这一举措可能会显著...