本文讨论依赖于真实标注数据的评估指标。它探讨了通用和RAG特定的评估指标。所有指标都带有Python实现或指向一个Hugging Face模型卡的链接。

向量搜索公司Marqo在由Lightspeed领导的A轮融资中筹集了1250万美元，以推进其下一代向量搜索平台的采用。Marqo的平台解锁了非结构化数据的巨大价值，覆盖了包括最终用户搜索、检索增强生成等关键企业应用，帮助企业...

苹果正在开发一个更新版本的Xcode，包括一个AI工具来生成代码。该工具将使用机器学习和自然语言处理算法来识别软件开发中的常见模式和问题，并提供自动生成代码的功能。这将帮助开发人员更快地创建应用程序，提高效...

近日，一项新的研究挑战了结合监督微调和强化学习的训练方法的有效性。研究表明，在初始训练中使用更先进的模型（如GPT-4）可以优于更复杂的两步方法。这一研究的开源代码已经发布到GitHub上，供科研人员使用和参考...

Sasha Rush发布了一份注释教程，介绍了如何使用自定义Triton内核加速Mamba。由于Triton编译器中的一个错误，它目前无法扩展，但它是技术的极端演示，并适合那些想要深入了解状态空间变换器替代品的人。Mamba是一种用...

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。

本文提供了一份可租用的GPU集群列表，这些集群可按小时租用，提供高性能计算能力，适用于需要大量计算的机器学习和深度学习任务。以下是可租用的GPU集群列表： 1. AWS EC2 P3（美国） 2. Google Cloud Platform（欧...

AdamW通常用于解耦学习率和权重衰减。然而，Pytorch中的常见实现并没有明确地做到这一点。本文讨论了如何调整这些参数。 AdamW是一种优化算法，它在Adam的基础上加入了权重衰减。AdamW的优点之一是可以解决权重衰减...