近日，轻量级视觉语言模型MoonDream迎来2.0版本重大更新。这款仅含20亿参数的VLM（Vision-Language Model）在最新测试中展现出惊人实力，其性能不仅超越多个同量级开源模型，甚至在部分基准测试中优于参数规模更大的...

2023年的研究项目TinyStories提出一个引人入胜的问题：语言模型可以小到什么程度，还能流利地表达英语？随着人工智能技术的进步，人们对高效而准确的小型语言模型的兴趣日益增长。TinyStories的研究人员尝试通过缩小...

muP 是一种被所有前沿模型实验室广泛使用的强大工具，用于将小模型上调优的超参数转移到更大、更昂贵的训练任务中。本文探讨了如何将这种技术应用于稀疏模型，从而显著提升训练性能，同时降低计算成本。通过muP，研...

Sakana.ai正在东京建立世界级研究实验室，以建立更小、更高效的基础模型。该公司由前谷歌研究员David Ha和Llion Jones创立，他们负责转型、世界模型和LoRA等突破性技术。它已获得了来自Lux Capital的Brandon Reeves...

在知识蒸馏和初始化方面已经做了大量的工作，例如“彩票假设”。这项工作提供了一种简单的机制，可以从一个更大的模型中初始化一个更小的模型。这显著提高了较小模型的性能。

本研究介绍了LLM-FP4，这是一种新的方法，通过在训练后将大型语言模型的权重和操作转换为4位浮点值来压缩它们。近年来，由于NLP任务的快速发展，语言模型的大小和计算需求不断增加，这给模型的部署和使用带来了很多...

大规模训练中的不稳定性对于大多数研究人员来说很难复制。一项新论文展示了如何在小模型中重现这些不稳定性，并验证了许多常见的修复方法在这些小模型上同样有效。该论文的作者认为，这样做有助于提高大规模训练的可...

大型语言模型在许多设备上的运行效率受限于其庞大的计算需求。然而，一个名为QA-LoRA的新方法已经成功改变了这一局面。QA-LoRA通过巧妙地改变模型的构建和微调方式，使得大型语言模型能够在维持强大功能的同时，有效...