SpaceX的星舰飞船在周四成功发射并首次实现了控制下的水上着陆。这次测试虽然没有达到完美的标准,但仍然被视为巨大的成功。尽管超级重型助推器上的33个猛禽引擎中有2个失效,飞船的热保护瓦片和其中一个控制翼片也...
Read MoreLoRA-Ensemble是一种面向自注意力网络的参数高效深度集成方法。该技术扩展了低秩适配(LoRA)的应用,通过隐式集成实现了在不增加传统集成方法高计算成本的情况下,仍能做出准确且校准良好的预测。这种方法不仅在精...
Read MoreLoRA(Learning of Rate Adjustor)是一种被广泛应用于模型微调的方法,用于注入风格或知识。近期的一篇研究论文深入探讨了在使用LoRA时,学习能力和遗忘之间的权衡关系。研究发现,LoRA相比于全面微调,虽然学习的...
Read MoreInternLM-XComposer2是一种在创建和理解复杂的文本-图像内容方面表现优异的视觉语言模型。该模型引入了一种名为Partial LoRA的新型方法,用以平衡视觉和文本的理解,其性能超越了现有的多模态内容创建和理解模型。通...
Read MoreAnswer AI发布了一款新的FSDP/QLoRA训练工具,可在消费级GPU上训练70B参数模型。该公司开源了代码,并使其易于本地运行或在runpod上运行。
Read MoreIR-QLoRA是一种新方法,它可以提高量化大型语言模型的准确性,使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间,但它也...
Read MoreLorax是一款支持将多个LoRA模型热插拔到单个基础模型上的推理服务器。这意味着在支持广泛的模型调整范围的同时,RAM内存占用会大幅减少。
Read More