据悉，最近发布的Stablecode 3B模型表现出色，其强大的性能超过了7B的CodeLlama模型。同时，该模型的尺寸足够小，能够在MacBook上本地运行，无需像7B模型一样需要大量的计算资源。这一模型的发布，标志着技术领域的...

Dolphin被广泛认为是可用性最强的未经审查的开放模型之一。它主要建立在Mixtral上。这个120B的模型是通过合并两个较小的Dolphin模型而制成的。研究发现，与Goliath 120B一起使用这种合并过程可以提高整体模型性能。

本文探讨了不同核矩阵的特征值如何改变以及它对学习属性的影响。核矩阵是机器学习中常用的矩阵，用于描述数据的相似性。在本文中，我们将分析核矩阵的频谱特性，即特征值的变化，这对机器学习模型的性能有很大的影响...

一种新的方法可以过滤高质量的配对偏好以进行对齐。它可以显著提高基准模型的性能。

BERT是一种仅有编码器的Transformer。这意味着它通常用于以嵌入形式表示自然语言，而不是用于生成文本。重要的是，它是最早用于搜索的Transformer之一，因为它可以表示查询和要检索的信息。Mosaic团队集成了FlashAtt...

科学家们开发出一种新方法，使用生成扩散技术创建代理数据集，这种数据集具有更好的代表性和更多样化，同时需要的计算资源更少。这种方法可以通过在代理数据集中训练神经网络来提高模型的性能。这种方法可以降低计算...

本文介绍了一种名为 ZipLoRA 的技术，该技术可以将多个低秩学习矩阵（LoRAs）合并在一起，从而改善模型性能。相比于常规的微调，LoRAs 更加经济实惠，但是也会改变模型的行为。本文提出的 ZipLoRA 技术可以在保留每...

我们可以通过使用Torch编译、稀疏化、与Triton一起使用自定义内核以及其他PyTorch性能特性，将分割任务的速度提高8倍。

Meta公司新推出的Emu图像生成模型已在用户偏好调查中超越SDXL。Emu模型是在11亿图像对上进行预训练的，只在几千张精心策划的图像上进行了微调。此模型将作为Meta新AI助手计划的主要支柱。Emu的高效性能，证明了大规...

LLM微调中心是一个包含代码和洞察的平台，专门用于微调各种大型语言模型以适应您的使用场景。不论您是开发者，还是研究人员，甚至是业务决策者，都可以在此找到有用的资源。通过微调，大型语言模型的性能可以得到显...