Cappy是一款小型模型，专门设计用于接收指令和候选完成，然后为完成度打分，以衡量其完成指令的程度。在这项任务上，Cappy的表现超越了许多更大的模型，这表明它可能作为训练和生成过程中的一个反馈机制。Cappy的成...

上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。

这是一篇关于大规模模型训练的并行化技术的教程。文章详细介绍了不同类型的并行化技术，以及如何在训练大模型时实现高效的并行化。本文介绍了数据并行、模型并行和混合并行等不同的技术，并详细讨论了它们的优缺点。...

Mistral AI推出了一款名为Mistral Large的新型语言大模型，以与GPT-4和Claude 2等顶级模型竞争。该公司还推出了一项名为Le Chat的新服务，以与ChatGPT竞争。通过该公司的API，访问Mistral Large的成本为每百万输入令...

本文介绍了LoRA+，一种优于现有Low-Rank Adaptation (LoRA)方法的微调大模型的方法。LoRA+通过为过程中的关键部分使用不同的学习速率来实现更好的性能和更快的微调，而无需增加计算需求。

受 Llama 模型的努力启发，这个项目使用纯 Rust 在 CPU 上运行 Mamba 推理。

最近，一份名为“Hallucination Leaderboard”的GitHub仓库开始在自然语言处理领域引起轰动。该仓库汇集了多种模型在摘要短文档时产生幻觉的性能比较数据，让人们更好地了解这些模型的优势和不足。据悉，该排行榜是由...

在知识蒸馏和初始化方面已经做了大量的工作，例如“彩票假设”。这项工作提供了一种简单的机制，可以从一个更大的模型中初始化一个更小的模型。这显著提高了较小模型的性能。