HuggingFace发布了一个轻量级的评估库lighteval，用于基于HELM和Eluther AI评估工具的语言模型训练。该评估库专注于提供高效易用的评估方法和指标，帮助用户快速准确地评估模型性能。同时，lighteval还提供了丰富的...

AI2发布了一个完全开放的语言模型训练框架，名为OLMo。该模型提供全面的资源，包括完整的训练数据、模型权重、训练和评估代码、每个模型超过500个检查点，以及未来的微调代码，所有这些都遵循Apache 2.0许可证。这些...

AI社区因HuggingFace和4chan分享的一个名为“miqu-1-70b”的泄漏大型语言模型而感到兴奋。该模型表现出能与OpenAI的GPT-4相媲美的性能，并与Mistral的Mixtral 8x7b有关。Mistral的CEO确认这是一位热情的客户泄露的，这...

本周，Mistral公司的CEO确认了Mistral的一个量化版本文件在HuggingFace上泄露，该技术使得在较弱的电脑和芯片上运行某些AI模型成为可能。据报道，该模型在EQ-Bench上超过了全球所有其他LLM模型，仅次于GPT-4。Mistra...

Meta的新模型已经在大量代码上进行了精调和指令调整。它们在HumanEval测试中表现出色，在某些方面接近于GPT-4。这些模型可在Meta许可下和HuggingFace上使用。

HuggingFace最近发布了一种名为WebDataset的数据格式，它可以将多个记录组合在一起。任何具有相同前缀的内容都会被视为同一条记录。这种格式非常适合于流式传输和快速数据加载。WebDataset还可以支持使用并行处理来...

ColBERT是用于检索的较好的嵌入模型之一。由于许多人正在构建启用RAG的人工智能应用程序，因此值得探索和使用。这个实现是一个简单和直接的复制，没有性能优化和它们所增加的复杂性。它使用HuggingFace的BERT，但实...

HuggingFace发布了Datatrove，这是一个用于过滤大型文本数据集的库。它具有许多有用的原语和用于文本过滤的完整并行管道。可在C4中使用Gopher质量过滤器的示例。

近日，HuggingFace发布了一个名为Nanotron的小型而强大的库，用于训练具有3D并行性的模型。这意味着它将数据、模型和模型中的层/张量分割开来。前两种并行性在PyTorch等库中得到了很好的支持。然而，将模型张量分割...

Meta最近推出了一系列令人难以置信的音乐和声音生成模型，并发布了推理代码。这些模型是通过机器学习训练的，可以生成高质量的音乐和声音效果。该公司表示，这些模型可以用于广泛的应用场景，包括游戏声音、虚拟现实...