在训练语言模型时，一个挑战是为任务找到足够多样化的数据集。更难的是，将这些数据可视化。这个很酷的工具使用快速聚类和主题建模，使得可以探索数据，以改善过滤和整体质量。

不一致掩模(IM)是一种新的图像分割方法，即使只有有限的数据，也可以发挥作用。该方法在ISIC 2018数据集上进行了测试，击败了传统技术，甚至超过了在完全标记的数据集上训练的模型。

HuggingFace最近发布了一种名为WebDataset的数据格式，它可以将多个记录组合在一起。任何具有相同前缀的内容都会被视为同一条记录。这种格式非常适合于流式传输和快速数据加载。WebDataset还可以支持使用并行处理来...

研究人员开发出一种名为共享特征校准（SFC）的方法，以增强语义分割。这个方法通过在特征图上进行跨层归一化，来缩小不同层次特征图之间的差异，从而提高了模型的性能。通过在多个数据集上的测试，研究人员发现，使...

Song Describer数据集包含1000多个人工编写的音乐记录描述，该数据集可帮助评估音乐与语言模型，例如音乐字幕和文本转音乐生成。

一种非常强大的新Mistral曲调，利用巧妙的弱监督和合成数据生成与DPO兼容的数据集。 描述的过程可以重复多次并应用于各种企业用例。

Depth Anything是一种新的单目深度估计方法，它依赖于约6200万张图像的大规模数据集来提高其精度。通过使用数据增强和预训练编码器的辅助监督，该模型实现了令人印象深刻的泛化能力，并在深度估计方面树立了新的标准...

最近，一种名为DiverseEvol的新方法在GitHub上发布，它可以让AI模型选择自己的训练数据，使其在不需要人工或其他先进AI系统的帮助下变得更好。DiverseEvol方法包括两个步骤：第一步是从数据集中选择用于训练模型的样...

针对图像-文本训练中使用的视觉基础模型，研究人员提出了一种名为ViSFT的新方法，以提高其性能。ViSFT使用类似于语言模型中的微调的两阶段过程来增强视觉基础模型。首先，该模型使用大规模的无监督预训练来学习图像...

HuggingFace发布了Datatrove，这是一个用于过滤大型文本数据集的库。它具有许多有用的原语和用于文本过滤的完整并行管道。可在C4中使用Gopher质量过滤器的示例。