GitHub最新开源项目Optimal Stepsize for Diffusion Sampling (OSS)通过动态规划算法优化了扩散模型的采样步长调度方案。这项突破性技术能在保持生成质量近乎无损的情况下，将采样速度提升10倍。该研究解决了扩散模...

本文综述了基础模型的参数高效微调技术，深入探讨了在保持多样化任务性能的同时，如何最小化计算成本的方法。随着基础模型（如LLM）的广泛应用，参数高效微调技术（如LoRA、RAG等）成为研究热点。这些技术通过减少需...

现代变压器模型在处理数据时，每个数据单元都使用相同的预测计算量，但事实上，不同数据单元的预测难度差异很大。DeepMind的最新研究突破了这一限制，允许模型在生成过程中根据数据单元的难易程度提前退出，从而减少...

小型羊驼（Tiny Llama）项目旨在为3T代币训练出一个参数为11亿的羊驼2（Llama2）模型。根据扩展规律，这对于计算优化来说无疑是严重的过度训练，但它对于部署优化带来了显著的收益。此次的模型训练打破了传统的优化...

以下是新闻主要内容： - Cerebras-GPT是一种计算优化的语言模型系列，通过利用高效的预训练、扩展和最大更新参数化，展示了先进的预训练和下游目标的训练效率。 - 作为第一个比较计算优化的模型扩展的开放和可重现...