本文介绍了一种名为 ZipLoRA 的技术，该技术可以将多个低秩学习矩阵（LoRAs）合并在一起，从而改善模型性能。相比于常规的微调，LoRAs 更加经济实惠，但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...

Neural-Cherche是一个库，旨在为特定数据集微调神经搜索模型，例如Splade，ColBERT和SparseEmbed。 在搜索模型中进行微调可以提高搜索结果的质量，从而更好地满足用户需求。 该库现已开源，可在GitHub上获取。此外，...

Nous研究推出了一款非常强大的34B模型，其建立在双语Yi模型的基础上。Capybara主要通过多轮数据进行训练，每次对话中的令牌数超过1000个，这使得它在处理信息密度较高的某些用户界面任务时具有独特的优势。

您需要更多的计算能力(和选择)来微调您的生成式人工智能吗？使用实践教程和实际代码样例学习✔️。通过不同的硬件配置评估性能和加速度✔️。构建异构应用程序，开发自己的原型，并对AI工作负载进行基准测试。从免费层开...

Audiocraft MusicGen是一款强大的将文本转化为音乐的人工智能模型。最新升级的版本现在支持立体声生成，通过巧妙地交叉使用左右声道进行微调，提高了整体音乐体验。虽然这一升级并没有提高基准分数，但它能够更好地...

最近，一项名为HelixNet的新研究显示，如果微调Mistral基础架构的三个任务特定模型，一个用于生成，一个用于批判，最后一个用于再生，则整个系统的生成性能显着提高。该研究使用合成数据来调整这些模型。HelixNet的...

Nous研究利用他们的Yarn方法对Mistral 7B进行了微调，可以处理长达128k的语境。它在短序列长度上显示出最小的退化，并在长文档上大大提高了性能。

Cohere AI的研究部门For AI开发了用于混合专家模型的参数高效微调方法，称为MoE PEFT。该算法可显著提高模型的微调效率，同时保持准确性。最近，该团队公开了该算法的GitHub代码库，为社区提供更多研究资源和工具。C...