FireFunction-v2是一个开放模型，它在功能调用基准上与GPT4-o相匹配，这个模型是在Llama 3 70B的基础上训练出来的。这一模型的开发将为AI领域带来新的突破。FireFunction-v2的性能表现优秀，证明了它在处理大规模数...

当前，大多数用于Transformers的计算花费在线性层上。这项工作利用muP和Monarch矩阵构建了一个结构化表示，不仅减少了计算量，而且比原始的密集层拥有更好的扩展规则。这项技术可以提高计算效率，降低运算成本，为AI...

Databricks近日宣布收购Tabular，此举将联合Apache Iceberg和Delta Lake的主要贡献者，专注于其湖仓架构的数据格式兼容性。此次收购的目标是实现数据互操作性的单一开放标准，以防止数据孤岛的形成。作为这一努力的...

Stability AI近日在Hugging Face Hub平台上发布了Stable Audio的权重。Stable Audio是一种训练生成音效的技术，该技术基于许可音频样本进行训练。通过这一技术，用户可以生成各种高品质的音效，应用于游戏开发、电影...

模块化范数是一种全新的神经网络权重更新归一化方法，能够高效扩展不同规模网络的训练。这种方法通过调整网络的权重更新过程，确保在各种网络规模下都能保持高效的训练速度和准确性。与传统的归一化方法相比，模块化...

研究人员推出了ProtT3，这是一个旨在通过结合蛋白质语言模型（PLM）和传统语言模型（LM）来增强蛋白质文本理解能力的新框架。ProtT3框架集成了用于处理氨基酸序列的PLM，并利用一种名为Q-Former的跨模态投影器生成高...

Mamba作为一种强大的Transformer替代方案，因其能够在保持性能的同时使用更少的FLOPs而备受关注。然而，最新研究表明，对于某些应用来说，Mamba可能并非必需。该研究通过实验表明，一个经过精心调优的CNN基线在一系...

研究人员开发了一种名为Wav-KAN的神经网络框架，该框架采用小波函数来提升模型的可解释性和性能。与传统模型不同，Wav-KAN能够同时捕捉高频和低频数据成分，从而实现更快的训练速度和更高的稳健性。这一创新方法不仅...