在预训练中，如何积极选择下一批最好的样本是一个挑战性和开放性的问题。DeepMind的这项工作探索了如何只花费10%的浮点运算和硬挖掘负样本，仍然能匹配各种任务的最新技术。在这个过程中，他们采用了一种名为“联合样...

Golden Gate Claude 是一个出色的案例，展示了如何使用SAEs（稀疏自编码器）进行模型的驾驭和解读。该工作为我们提供了一个直观的解释，解释了它是如何工作的，并提供了一些用于训练这些模型的示例代码。自编码器是...

研究人员已经发现，通过分类数据、预计算嵌入以及动态生成示例，可以使LLM语音助手更加高效和可扩展。他们利用RAG（Retrieval Augmented Generation）系统对语音助手进行优化，提高了其性能和扩展性。RAG是一种典型...

GeoMFormer是一种全新的基于Transformer的模型，旨在通过学习不变量和等变量特征来改进分子模型。这种模型的设计，彻底改变了传统分子建模的方法，为化学和生物科学的研究者提供了新的视角和工具。GeoMFormer的出现...

近日，AI与Morph Labs联合发布了一篇关于信息检索增强型生成（RAG）模型微调的优秀博客文章。在文章中，他们展示了一些合成数据的使用情况。信息检索增强型生成模型是一种新型的深度学习模型，它结合了信息检索技术...

TRL是一个Hugging Face库，专为使用强化学习训练变形金刚设计。这个示例允许您对基于视觉的语言模型如LLaVA进行相同的处理。Hugging Face是一个开源NLP（自然语言处理）社区和公司，致力于使用人工智能推动自然语言...

近期，Toucan发布了一套新的文本转语音模型，这套模型已经扩展，可以支持所有ISO-639-3标准语言。这个开创性的举措，将使全球各地的用户都能享受到语言转换的便利。无论是在学习、工作，还是日常生活中，这都是一项...

在2024年CVPR（计算机视觉与模式识别）会议中，我们精心策划了一份计算机视觉领域的论文清单。这些论文涵盖了计算机视觉的各个方面，包括深度学习、物体检测、图像识别、语义分割等。每篇论文都代表了该领域的最新研...